Levy/mediapalvelimen rakentaminen, lähes nollatiedoilla liikkeelle

[akvavitix]

Eilen kävi niin, että meidän perheen arkistolevy, 1tb WD Blue hdd kärähti ja lähti tänään tiedostojen palautukseen IT-tohtorille, kun perheen 10 vuoden valokuvat tallennettuna ko. levylle. Mielen päällä on ollut pitkään rakentaa levypalvelin vanhentuneesta pelikoneesta, joka ei päivity Windows 11:lle. Muutenkin kone on jäänyt turhaksi, kun kotona on jo 3 tuoreempaa ja tehokkaampaa pelikonetta. Tottakai tämä aktivoituu tekemiseksi, kun pahin on jo tapahtunut...

Vanha kone:
Corsair Carbide R88 mATX-kotelo
Intel i5 6500 -prossu
B150m emolevy (6 Sata-liitäntää)
2x4 GB muistia
250GB käyttis-SSD ja toinen 500GB SSD, molemmat 2,5" levyjä SATA-liitännällä
Seasonic S12II 550W virtalähde
RX380 4gb näytönohjain

Nyt olisi tarkoitus rakentaa levyjärjestelmä, joka olisi vikasietoinen, eli kestäisi ainakin yhden levyn rikkoontumisen, joten RAID5 harkinnassa. Tämä tarkoittaisi minimissään 3 levyä. Alustavasti olen ajatellut 3x2TB HDD-levyjä. Onko WD Blue riittävä perheen kotikäyttöön, vai onko jotain parempaa tarjolla bang per buck -periaatteella?

Kokonaan toinen asia onkin sitten käyttöjärjestelmäpuoli. En ole erityisen noheva tämän tyyppisissä asioissa (käyttökokemusta pelkästään Windowsin eri versioista, ei minkäänlaista Linux tai koodausosaamista), minkä takia tukeudun paljon Youtube-videoihin ja nyt kyselen täältäkin vinkkiä.

Mten tätä nykyistä setuppia on järkevää lähteä viemään siihen suuntaan, että saan ensinnäkin vanhalta WD Blue-asemalta palautettavat datat palautetuksi valmiille RAIDille, mutta myöskin tuottamaan redundancy ja perf- näkökulmista hyvän ja helposti ylläpidettävän ratkaisun? Mitä levyjä minun kannattaa hankkia?

 

[Deeku]

Ehkä vähän tynkä viesti vastaukseksi, mutta laitetaan nyt kuitenkin.
Truenas käyttöjärjestelmää kovasti suositellaan, mikäli on tarkoitus rakentaa itsellensä tallennuspalvelin.
Lisäksi voisin vielä painottaa että RAID ei ole varmuuskopio. Arvokkaalle datalle suosittelen lämpimästi tuon RAID pakan lisäksi jotain varsinaista varmuuskopiointiratkaisua.

Täältä kannattanee kysellä viisaammilta lisää.

 

[akvavitix]

Googlauksen jälkeen perfectmediaserver.com tarjoaisi aika hyvän ratkaisun, missä vättyisi RAIDin ongelmilta. Redundancy tapahtuu snapshoteilla ja levytilaltaan järjestelmä olisi skaalautuva ja tosi salliva, eli esim. jos yhden levyn ottaa setupista pois, setup toimii siitä huolimatta. Se mikä tuossa kuulostaa minulle erityisen vaikealta on Docker-puoli. Vähäsen veikkailen, että tähän projektiin taitaa valua tunteja aika paljon, kun pitää lähteä tyhjästä nyhjäämään...

 

[akvavitix]

WD Blue 2TB saatavuus on vähän heikkoa. Datatronicilta saisi Seagate Barracuda ST2000DM008 sisäinen kiintolevy 3.5" 2000 GB Serial ATA III suht edukkaasti. Silloin kun aikanaan WD Bluen hankin, Muron puolella Barracudalla oli joukko vastustajia, minkä takia kallistuin WD:n kelkkaan. Onkohan tässä tapahtunut vuosien saatossa muutoksia? Datatronicin edulliset levyhinnat kilpailijoihin verrattuna houkuttelevat.

Toinen Datatronicin tarjonnassa oleva vaihtoehto olisi Seagate IronWolf ST4000VN006 sisäinen kiintolevy 3.5" 4000 GB Serial ATA III, jolla suhteellisen pienellä panostuksella tuplaisi kapasiteetin ja olisi NAS-levy muutenkin. Seagate on kuitenkin minulle entuudestaan brändi mihin ei ole minkäänlaista kosketuspintaa.

 

[bindi]

Mitä ongelmia RAID:issa on? Laita truenas ja 2 levyn peili tai 4 levyn raidz2. Nuo 2TB kovalevyt ovat aika sikahintaisia. (vuoden 2010 kapasiteettia..)

Kaveriksi vielä joku 4-8TB ulkoinen HDD johon ajetaan varmuuskopiot vaikka kerran kuukaudessa, säilytys mielellään eri kämpässä ettei tavarat katoa tulipalossa.

Jos tarve on vain 1-2TB niin ehkä saisi 5-10€/kk hintaan pilvipalveluita(? en jaksa tarkistaa puhelimella), joka voisi myös olla vaihtoehto.

 

[Rollerix]

Kun kerrot lähteväsi lähes nollatiedoilla liikkeelle ja tietojen äskettäinen menetys johtui siitä ettei mitään varmuuskopiota ollut, kuulostaa siltä että turhan monimutkaisesti lähdet asiaa ratkaisemaan. Monimutkaisuus lisää ongelmia yleensä.

Ehdotan yksinkertaisemmaksi ratkaisuksi seuraavia (vaihtoehtoiset):

1) Ulkoiselle kovalevylle (usb-liitäntäinen 2.5 tuuman hdd tai ssd) varmuuskopio kerran viikossa tai useammin + tämän levyn kopiointi esim kerran kuussa toiselle ulkoiselle levylle (2.5 tuuman hdd, EI ssd). Nuo 2.5 tuuman hdd-levyt ovat hiljaisia eivätkä tarvitse erillistä virtalähdettä. Isommat levyt tuovat huminaa ja ylimääräisen virtalähteen.

2) Valmis NAS, jonne varmistus kerran viikossa tai useammin + NAS:n varmuuskopio esim kerran kuussa ulkoiselle hdd:lle. Huomattavasti kalliimpi vaihtoehto ja kannattaa vain jos NAS:lle on muutakin todellista käyttöä.

Ja kuten edellä jo sanottu, tulipalo ei suojaa näitä, eli jos ihan varma haluaa olla, se ketjun viimeinen pitää säilyttää muualla, tai paloturvallisessa kaapissa tai tehdä siitä vielä yksi kopio harvakseltaan muualle. Kannattaa vain sitten huomioida myös tietoturva eli jos kaikki oma data on jossain mökillä "suojassa", se voi lähteä sieltä pitkäkyntisten matkaan, eli pitää olla kryptattuna data.

Ykkösvaihtoehto on edullisin ja yksinkertaisin. Kahden levyn lisäksi tarvitaan vain hyvä varmuuskopiointisofta. Windowsin omillakin se onnistuu, mutta ulkoisissa on enemmän ominaisuuksia. Macrium Reflect on itselläni käytössä ja voin hyvin suositella. Brittifirma, eli datat ei valu Kiinaan. Isona haittapuolena se, että siirtyivät pari vuotta sitten kertalisensseistä tilauslisenssiin, eli laskuttavat uusia käyttäjiä joka vuosi (itse ehdin onneksi alta pois). Ohjelmia on muitakin ja niistä kannattaa lukea ja kysellä tuolla edellä linkatussa varmuuskopiointi-ketjussa. Kannattaa katsoa ainakin hintapolitiikka ja firman alkuperä ettei tule yllätyksiä. Esim. EaseUS kuulostaa amerikkalaiselta, mutta on kiinalainen. En nyt väitä että vilunkia harrastaisivat, mutta itse ostan mieluummin lännestä ja tätä nykyä Euroopasta.

 

[MMXVI]

En tiedä kannattaako herramme vuonna 2025 enää ostella uutena 2TB levyjä jos ei ole ihan pakko. Toisaalta jos mennään ihan nollabudjetilla ja käytettyjä levyjä pyörii nurkissa niin se on asia erikseen.

Karkeasti ottaen tällaiseen projektiin lähtökohdaksi voisi suositella esim.

-ssd:lle TrueNAS
-datalevyiksi vähintään 2x4TB levyt peilattuna
-toimiva varmuuskopiostrategia erilliselle ulkoiselle levylle tai vastaavalle koska kuten jo mainittiin, RAID ei ole varmuuskopio
-ehkä mielellään koneeseen 16GB muistia, vaikka saattaa se 8 gigatavuakin nippanappa riittää
-vältä SMR-levyjä, mieluummin CMR (teknisempi selitys jos haluat tietää)

Ja tarkemmat yksityiskohdat kannattanee kysellä tuolta NAS-ketjusta.

 

[akvavitix]

Niin kuin todettu, tällainen projekti ollut mielessä pidempään. En hae 100% suojaa kaikkea vastaan, enkä varsinkaan halua lähteä tekemään manuaalisia backuppeja = jää tekemättä. Tästä syystä levyjen peilaus on sinänsä ihan ok, mutta jos parempi ratkaisu on tarjolla, hyvä. Osatarkoituksena on uusiokäyttää muuten e-romuksi päätyvä vanha PC ja oppia uutta. Mutta ennen kaikkea tarkoitus on saada toimiva ratkaisu, jossa data ei katoa bittiavaruuteen yhden komponentin feilun takia.

RAIDin huono puoli on skaalautuvuus (näin olen ymmärtänyt) ja kaupalliset NASsit ovat minun budjetille aivan liian kalliit ja kankeat. Yritän löytää ratkaisun, jonka oppimiseen voisi riittää viitseliäisyys. Lisäksi yksi, mitä olen jonkun verran pohtinut, on aivot taloautomaatiolle, kunhan ne ajatukset lähtevät kypsymään hiukan pidemmälle. Mutta projetki kerrallaan, eli "kotipilvi" valokuvien tallennukseen olisi nyt akuutein ja ensimmäinen ratkaistava asia.

Tallennustarpeet eivät ole mitenkään supermassiiviset; tähänkin saakka 1TB levy on riittänyt 10 vuoden valokuva-arkistona enemmän kuin hyvin. Tässä suhteessa alun perin ajatus oli, että RAID5:llä 3x2TB levyillä kapasiteettia olisi jo riittävästi. 4TB levyjen hinnat osoittautuivat pienellä kaivelulla kuitenkin sen verran edukkaiksi €/TB näkökulmalta, että 3x4TB levyä olisi varmaankin aika lähellä sweetspottia. Kuitenkin, jos nyt rakennettavaa NASia alkaa käyttämään mediapalvelimena tmv. aktiivisemmassa käytössä, skaalautuminen voisi kiinnostaa ja tässä kontekstissa tuo linkkaamani mergerfs & SnapRAID combo kuulostaa kivalta. Tämän ratkaisun vaativuusluokka toteutuksen kannalta on kuitenkin minulle se suurin kysymysmerkki. Tässä kontekstissa Dockerin käytön opettelu voisi olla tulevaisuudenkestävä ratkaisu, jos taloautomaatio saa myöskin tuulta purjeisiin.

 

[iccb]

Jos "nollatietämyksellä" lähdetään itselle NAS:ia kasaamaan, en kyllä lähtisi truenassin kanssa liikkeelle. Toki videoita youtubesta kyllä löytyy millä pääsee hyvinkin alkuun. Koeaja vaikka unraidia, Unleash Your Hardware siinä saa myös käytettyä zfs tiedostojärjestelmää nykyään ja on mielestäni aloittajaystävällisempi mitä truenas.

 

[akvavitix]

Onkohan täällä ketään, joka on rakentanut MergerFS + SnapRAID setupin? Ihan vaan kokemuksia kyselläkseni. Netissä näyttää olevan reippaasti ohjeistusta toteutusta varten, mutta vielä tässä tutkimusvaiheessa kuulisin plussia ja miinuksia, jos löytyy joku erityinen syy olla lähtemättä tälle polulle. MergerFS + SnapRAID vaikuttaisi minusta tällä tiedolla fiksuimmalta tavalta rakentaa NAS. Ilmeisesti setupin nopeuttamiseksi levyjärjestelmän voi cachettaa SSD:llä, joka sopisi minun setuppiin tosi hyvin.

Levyjen osalta olen kallistumassa WD Red Plussaan tai Seagate Ironwolfiin. Tutkailen vielä kapasiteetin näkökulmasta, mihin budjetti taipuu, mutta tarkoitus on aloittaa 2x data levyllä ja 1x parity levyllä. Tätä setuppia voi periaatteessa ainakin laajentaa koska vain levy kerrallaan. Backupia tämä vaihtoehto ei itsessään tarjoa, mutta antaa merkittävää vikasietoisuutta levyjen laiterikkojen varalta.

Voi olla, että joudun rekryämään hiukan nohevampia kavereita avuksi ainakin setupin rakentamiseen, mutta eiköhän se olutpalkalla järjesty. Haluan kuitenkin oppia itse ylläpitämään ja tarvittaessa uudelleenrakentamaan koko järjestelmän.

 

[TuBBe]

Unraid on maksullinen mutta helvetin hyvä ja aloittelijaystävällinen ja kivat dashboardit missä voi vilkuilla kovojen käyttöä ym statistiikkaa ja saa tosi helposti sitten lisättyä tavaraa päälle esim dockerilla "app storesta" esim erilaiset syncronointi softat tai google driven omat self hostatut korvikkeet, ad blockerit, home assistatin kotiautomaatioon ym. Black fridayssä saa varmasti tänäkin vuonna alesta lisenssin parilla kympillä.

 

[topiv]

-ehkä mielellään koneeseen 16GB muistia, vaikka saattaa se 8 gigatavuakin nippanappa riittää
-vältä SMR-levyjä, mieluummin CMR (teknisempi selitys jos haluat tietää)

Tässä on aloitteleva käyttäjä, joka tarvitsee USB-levyn tilalle yksinkertaisen NAS-ratkaisun. 16 GB muistia ei ole todellakaan edellytys ja aloittajalla jo ollut 8 GB riittää peruskäytössä erinomaisesti.

----------
Itse rakentaisin vanhasta PC:stä NASin ja kokeilisin läpi nämä yleisimmät ratkaisut, kuten TrueNas, Unraid, nextcloud ja OMV. Käyttää sitä, mikä tuntuu itselle riittävän helpolle. Itsellä käytössä TrueNas, mutta olen käyttänyt sitä vuodesta 2015, joten vaatimuksia on enemmän kuin ketjun aloittajalla.

 

[MMXVI]

Tässä on aloitteleva käyttäjä, joka tarvitsee USB-levyn tilalle yksinkertaisen NAS-ratkaisun. 16 GB muistia ei ole todellakaan edellytys ja aloittajalla jo ollut 8 GB riittää peruskäytössä erinomaisesti.

----------
Itse rakentaisin vanhasta PC:stä NASin ja kokeilisin läpi nämä yleisimmät ratkaisut, kuten TrueNas, Unraid, nextcloud ja OMV. Käyttää sitä, mikä tuntuu itselle riittävän helpolle. Itsellä käytössä TrueNas, mutta olen käyttänyt sitä vuodesta 2015, joten vaatimuksia on enemmän kuin ketjun aloittajalla.

En ihan saa kiinni miten suositus 16 gigatavusta kääntyi mielessäsi edellytykseksi, mutta avataan hieman.

Kuten varmaan tiedät, TrueNAS on ZFS-pohjainen järjestelmä ja ZFS on lähtökohtaisesti suunniteltu hyödyntämään vapaata RAM-muistia cachena kaikissa levyoperaatioissa. ZFS-purkissa suunnilleen viimeinen asia mistä kannattaa pihistellä on muistin määrä.

8GB on TrueNAS:in dokumentaatiossa mainittu minimisuositus, ja saa sen tiettävästi neljällä gigallakin käyntiin, mutta jos emolla on neljä muistislottia ja toinen pari 2x4GB DDR4-kampoja irtoaa esim. torista tai foorumin myyntialueelta käytettynä muutamalla kympillä, en näe erityistä syytä suositella että otetaan heti alkuun muistimäärä ihan kynsille. 16GB tarjoaa kuitenkin pientä kasvun varaa tulevaisuuteen ja parantaa todennäköisyyttä että purkki toimii luotettavasti vielä 3-5 vuoden päästä ilman sen kummempaa säätämistä tai vierihoitoa.

Itse en myöskään ehkä välttämättä suosittelisi oletettavasti perheelliselle ihmiselle kokeilemaan kaikkia mahdollisia ratkaisuja auringon alla ja sitten valitsemaan niistä mieleistä, koska siihen palaa helposti päiväkausia aikaa ilman sen kummempaa tulosta. Oman kokemuksen perusteella TrueNAS on aloittajan käyttötarpeet huomioiden lähimpänä valmiiksi hiottua, luotettavaa ja mutkatonta avaimet käteen-ratkaisua, mitä tässä nyt ilmeisesti haetaankin. Siitä suosittelisin ainakin lähtemään liikkeelle.

Jos sitten myöhemmin nälkä kasvaa syödessä, mikään ei tietysti estä harrastusmielessä kokeilemasta niitä muita ratkaisuja kun tietotaito ja ymmärrys omista tarpeista on vähän kasvanut.

 

[Rollerix]

Ihan mielenkiinnosta kysyn miksi TrueNAS tai joku muu vanhentuneen raudan varaan itse värkättävä ratkaisu olisi "nollatiedoilla liikkeelle lähtevälle" parempi ratkaisu kuin kaupallinen valmis NAS, esim. Synology, Asustor tai QNAP? Tässä tilanteessa data menetettiin siksi ettei ollut yhtään mitään varmuuskopiointijärjestelmää, mikä ehkä kertoo siitä että ei ole ollut paljoakaan liikaa aikaa/rahaa/kiinnostusta asiaan paneutua.

Tarkoitus ei ole kritisoida tästä kysyjää, vaan todeta vain, että yleisen elämänkokemuksen perusteella helpot ratkaisut yleensä toimii kun aika on kortilla, ja muut vaatii harrastuneisuutta sekä aikaa. Toki jos aikaa ja kiinnostusta löytyy niin mikäs siinä.

 

[akvavitix]

Kaupalliset ratkaisut ovat yksinkertaisesti liian kalliita. Sen lisäksi, että tämä projekti on ollut mielen päällä siitä lähtien, kun olen tiennyt, että vanha Skylake-prossun päälle rakennettu kone ei palvele tämän vuoden jälkeen enää windows-pelikoneena. Oppiminen on tässä projektissa isompi itseisarvo, kuin eurojen kuluttaminen. Jos saan pidetyksi budjetin ~350€ hujakoilla ja hyödynnettyä muuten romuraudaksi päätyvää sinänsä erittäin käyttökelpoista kamaa, se voittaa 1000€ + maksavan kaupallisen NAS-ratkaisun viikon jokaisena päivänä.

Sen verran on kunnianhimoa, että lähden rakentelemaan MergerFS + SnapRAID -ratkaisua. Kun sormi menee suuhun ja google tai youtube ei kerro ratkaisuja, kysyn viisaammilta neuvoa.

 

[akvavitix]

Tarkennetaan vielä sen verran, että pohjalle OS:ksi lienee tulossa Debian tai Ubuntu ja sen varaan MergerFS ja SnapRaid sekä docker-sovelluksia. Ehkä saan jopa jonkinlaisen peliservun tästä käyttöön lanituksia fasilitoimaan. Tai sitten en. Kunhan saadaan yksittäistä hdd-levyä vikasietoisempi arkistoratkaisu, niin silloin ollaan jo selkeästi positiivisen puolella.