Making the Case for SnapRAID: The Unsung Hero of Home Server Storage

As someone who’s spent countless hours researching and experimenting with different storage solutions for my home server, I’ve come to a surprising realization: SnapRAID is often the best option for home users. Despite its lack of mainstream attention, SnapRAID offers a unique combination of flexibility, reliability, and ease of use that makes it an attractive choice for those looking to protect their data.

What is SnapRAID, Anyway?

SnapRAID is a backup program designed for disk arrays, storing parity information for data recovery in the event of up to six disk failures. It allows you to define data disks and parity disks, similar to traditional RAID, but with a key difference: the parity data is not updated in real-time. Instead, it’s triggered by the user, giving you more control over when and how your data is protected.

So, What Makes SnapRAID So Great?

For me, the benefits of SnapRAID are numerous. Here are just a few:

• No special formatting of the data drives is required, so you can browse them like typical mount points.
• The only requirement is that your parity disks are as large or larger than your data disks, giving you the freedom to mix and match sizes, types, and configurations.
• You can start using SnapRAID at any time, stop at any time, add or remove drives without issue, and migrate your data with ease.
• If the number of failed disks exceeds the parity count, data loss is confined to the affected disks, ensuring that your remaining data remains accessible.
• Only the drive being used needs to spin, which means you can keep your drives spun down nearly all the time, reducing wear and tear and minimizing the risk of multiple drives failing at once.

Making SnapRAID Act Like Traditional RAID

One of the common criticisms of SnapRAID is that it doesn’t combine drives into a single, large file system. To get around this, I use rclone mount to create a file system that spans all of my data drives. This allows me to decide how to fill the drives and take advantage of features like caching. By using rclone’s mount with a cache location, I can prioritize writes to a fast SSD, ensuring that my data is protected and easily accessible.

Limitations and Workarounds

Of course, no solution is perfect, and SnapRAID has its limitations. Here are a few potential drawbacks and how I address them:

• The parity is only updated when triggered by the user, which means data loss can occur if a drive fails before the parity is updated. To mitigate this, I update my parity once a week.
• Rclone mount’s cache option can be pass-through for folder creations, which can cause issues if your disks are spun down. To get around this, I use two mounts: one for all data drives with a VFS cache, and another that mounts the first mount along with a “cache” folder on the SSD. This ensures that new writes are prioritized to the SSD, reducing the need for disk spin-ups.
• Data drives can spin up frequently if data outside the cache is accessed. To address this, I wrote a custom system service that monitors data drive access and “touches” the contents of the same folder in the mount, pushing everything to the cache.

My Full Setup

So, what does my setup look like? Here’s a breakdown:

• I use rclone mount with full VFS caching to mount all data drives, setting vfs-write-back to 9999 days.
• I use a second rclone mount with no caching to mount the first rclone instance and a “cache” folder on the SSD, prioritizing the SSD for new writes.
• I have a custom system service that “touches” all contents of a folder in the first mount if activity is detected on any data drive, reducing frequent HDD spin-ups.
• Once a week, I run a script that changes vfs-write-back to 1 second, moves files in the “cache” folder to the first mount, and runs a parity update using a helper script.

It may seem like a lot to take in, but trust me, it’s worth it. With SnapRAID and rclone mount, I’ve created a robust and efficient storage solution that protects my data and minimizes power consumption. My server averages 7-12 watts with the HDDs spun down 95% of the time, and I have two 20TB data drives, one 20TB parity drive, and a 1TB cache drive to show for it.

So, if you’re in the market for a reliable and flexible storage solution, I highly recommend giving SnapRAID a try. It may not be the most well-known option out there, but it’s definitely worth considering.

Obrona SnapRAID: Nieznany Bohater Przechowywania Danych na Serwerach Domowych

Jako osoba, która spędziła niezliczone godziny na badaniu i eksperymentowaniu z różnymi rozwiązaniami przechowywania danych na swoim serwerze domowym, doszłem do zaskakującego odkrycia: SnapRAID jest często najlepszym wyborem dla użytkowników domowych. Pomimo braku uwagi mainstreamowej, SnapRAID oferuje unikalną kombinację elastyczności, niezawodności i łatwości użycia, co czyni go atrakcyjnym wyborem dla tych, którzy chcą chronić swoje dane.

Czym jest SnapRAID?

SnapRAID jest programem backupowym przeznaczonym dla macierzy dysków, przechowującym informacje o parzystości do odzyskiwania danych w przypadku awarii do sześciu dysków. Pozwala on zdefiniować dyski danych i dyski parzystości, podobnie jak w tradycyjnym RAID, ale z kluczową różnicą: informacje o parzystości nie są aktualizowane w czasie rzeczywistym. Zamiast tego, są one wyzwalane przez użytkownika, dając mu więcej kontroli nad tym, kiedy i jak jego dane są chronione.

Czy SnapRAID jest tak dobrze?

Dla mnie zalety SnapRAID są liczne. Oto kilka z nich:

• Brak specjalnego formatowania dysków danych, co pozwala przeglądać je jak typowe punkty montowania.
• Jedynym wymogiem jest to, że dyski parzystości są tak duże lub większe jak dyski danych, co daje użytkownikowi swobodę w łączeniu różnych rozmiarów, typów i konfiguracji.
• Można zacząć używać SnapRAID w dowolnym momencie, zatrzymać w dowolnym momencie, dodać lub usunąć dyski bez problemu i przenieść dane z łatwością.
• Jeśli liczba uszkodzonych dysków przekracza liczbę dysków parzystości, utrata danych jest ograniczona do uszkodzonych dysków, co oznacza, że pozostałe dane pozostają dostępne.
• Tylko dysk, który jest używany, musi się kręcić, co oznacza, że można trzymać dyski wyłączone prawie cały czas, redukując zużycie i minimalizując ryzyko awarii wielu dysków jednocześnie.

Jak zrobić, aby SnapRAID działał jak tradycyjny RAID

Jednym z częstych zarzutów wobec SnapRAID jest to, że nie łączy dysków w jeden, duży system plików. Aby temu zaradzić, używam rclone mount, aby utworzyć system plików, który obejmuje wszystkie moje dyski danych. Pozwala mi to na decydowanie, jak wypełnić dyski i korzystanie z funkcji takich jak buforowanie. Używając rclone mount z lokalizacją bufora, mogę priorytetowo traktować zapisy na szybkim dysku SSD, co zapewnia, że moje dane są chronione i łatwo dostępne.

Ograniczenia i rozwiązania

Oczywiście, żadne rozwiązanie nie jest idealne, a SnapRAID ma swoje ograniczenia. Oto kilka potencjalnych wad i sposobów, aby im zaradzić:

• Parzystość jest aktualizowana tylko wtedy, gdy jest wyzwalana przez użytkownika, co oznacza, że utrata danych może nastąpić, jeśli dysk ulegnie awarii przed aktualizacją parzystości. Aby temu zaradzić, aktualizuję parzystość raz w tygodniu.
• Rclone mount ma opcję buforowania, która może powodować problemy, jeśli dyski są wyłączone. Aby temu zaradzić, używam dwóch montowań: jednego dla wszystkich dysków danych z buforowaniem VFS i drugiego, który montuje pierwsze montowanie wraz z folderem “bufor” na dysku SSD, co pozwala priorytetowo traktować nowe zapisy na dysku SSD.
• Dyski danych mogą się kręcić często, jeśli dostęp do danych poza buforem jest częsty. Aby temu zaradzić, napisałem niestandardową usługę systemową, która monitoruje dostęp do dysków danych i “dotyka” zawartości tego samego folderu w montowaniu, co powoduje, że wszystko jest przenoszone do bufora.

Moja pełna konfiguracja

Więc, jak wygląda moja konfiguracja? Oto krótki opis:

• Używam rclone mount z pełnym buforowaniem VFS, aby zamontować wszystkie dyski danych, ustawiając vfs-write-back na 9999 dni.
• Używam drugiego rclone mount bez buforowania, aby zamontować pierwsze rclone i folder “bufor” na dysku SSD, co pozwala priorytetowo traktować nowe zapisy na dysku SSD.
• Mam niestandardową usługę systemową, która “dotyka” wszystkich zawartości folderu w pierwszym montowaniu, jeśli jest wykryty dostęp do dysków danych, co redukuje częste kręcenie się dysków HDD.
• Raz w tygodniu uruchamiam skrypt, który zmienia vfs-write-back na 1 sekundę, przenosi pliki w folderze “bufor” do pierwszego montowania i uruchamia aktualizację parzystości za pomocą skryptu pomocniczego.

Może to wyglądać na dużo, ale ufaj mi, jest to warte zachodu. Z SnapRAID i rclone mount stworzyłem solidne i wydajne rozwiązanie przechowywania danych, które chroni moje dane i minimalizuje zużycie energii. Mój serwer średnio zużywa 7-12 watów z dyskami HDD wyłączonymi 95% czasu, a mam dwa dyski danych po 20 TB, jeden dysk parzystości 20 TB i dysk bufora 1 TB.

Więc, jeśli szukasz niezawodnego i elastycznego rozwiązania przechowywania danych, bardzo polecam wypróbowanie SnapRAID. Może nie być to najbardziej znane rozwiązanie, ale jest naprawdę warte rozważenia.