NAS rakentelut

[Bahamies]

Elikkä mun mielestä tää sun raid5 vieroksunta on hiukan ylireagointia ja tämä nyt ihan omaan kokemukseen pohjautuen noin 30v raid5 kokemuksella jonka ajan olen raid5 ajanut erilaisilla kokoonpanoilla. Ja olihan tuossa jo aikaisempikin kokemusasiantuntijan kommenti että suurimmat ongelmat hänellä on ollu niitä itse aiheutettuja.
Tämmöiset vaan helposti muodostuu sellaiseksi turhaksi pelon lietsonnaksi jolla ei ole juurikaan todellisuuspohjaa. Jos se data on niin tärkeää että sen menetyksestä kuolema tulee niin sitten se data on syytä taltioida moneen paikkaan ja fyysiseen sijaintiin. Itsellä ei mitään niin tärkeää ole. Se että tuo data olisi huomenna poissa vituttaisi kovin, mutta ei se ketään tapa.

Kuten tuossa itse jo aiemmin sanoin, niin kukin määrittelee itselleen sopivan riskitason ja rakentaa kokoonpanon sen pohjalta. Itsekin siis käytän RAID5 verrokkia (RAIDZ1), mutta siten miten sen määritän itse riittävän turvalliseksi.

RAID5 voi olla ihan hyvä ratkaisu, mutta minun mielestäni vain tietyin rajaehdoin. Minä tiedän omat rajaehtoni sille, milloin sen käyttö on ok, mutta monesti tuntuu, että monet rakentajat eivät noita omia rajaehtojaan mieti. Suuri osa ensimmäisen NAS:n kasailijoista katsoo ensin hintaa, sitten kokonaisuuden vaikeusastetta ja toimintavarmuus sekä palautumissuunnitelma tulee sitten joskus myöhemmin (jos tulee lainkaan ennen ensimmäistä rauta-/softaongelmaa).

Jos siis kysymys tulee muodossa "Rakennan ensimmäistä NAS:ia ja ajattelin tallentaa sinne paljon ja kaikkea", niin RAID5 suosituksen kanssa olisin varovaisempi kuin muut. Tietääkö käyttäjä tekeekö hänen valitsemansa tiedostojärjestelmä checkejä tai scrubeja? Onko ne laitettu pyörimään säännöllisesti? Tietääkö hän että tiedostojaot kannattaa laittaa offlineen rebuildin ajaksi? Eiväthän nämä RAID5 riskit edes pääse realisoitumaan jos oikeasti tietää, miten se palvelin pidetään ehjänä ja miten rebuildit hoidetaan.

Makueroja, mutta itse liputan RAID6:n puolesta näin oletusarvoisesti. RAID5 on ihan ok, jos tietää mitä tekee ja jos tietää mitä tekee, niin keskustelu tuskin aukeaa kysymällä "Onko RAID5 ok?"

Spoileri

Edellistä ei ole millään tapaa tarkoitettu loukkaukseksi ketään kohtaan. On ihan ok kysyä asioita ja vastaukset jakaantuvat.

 

[Obi-Lan]

Neljän pyörivän levyn NAS/RAID pakka on se hankalin antaa suosituksia. RAID5 optimoi käytettävissä olevan tilan, mutta sisältää riskejä. RAID6 sijaan RAID10 olisi nopeampi, mutta molemmat syö puolet raakakapasiteetista mikä taas saattaa ahdistaa kun yrittää optimoida mahdollisimman paljon tallennustilaa mahdollisimman halvalla jne.

Kahden pyörivän levyn pakkaan helppo sanoa RAID1 ja 5-6 levyn pakkaan RAID6.

SSD kanssa RAID5 taas ei ole mikään ongelma kun rebuild ei käytännössä rasita muita levyjä ja tapahtuu yleensä hyvin nopeasti.

 

[Joku_242]

ZFS:ssä vissiin on nykyään ominaisuus, että pakkaan voi lisätä levyn ja tilan saa myös käyttöön. Tällöin neljällä levyllä kannattaisi varmaan laittaa raidz2 (eli RAID6) ja lisätä levy jos joskus tarvii +50% tilaa.

 

[hurubaw]

Neljän pyörivän levyn NAS/RAID pakka on se hankalin antaa suosituksia. RAID5 optimoi käytettävissä olevan tilan, mutta sisältää riskejä. RAID6 sijaan RAID10 olisi nopeampi, mutta molemmat syö puolet raakakapasiteetista mikä taas saattaa ahdistaa kun yrittää optimoida mahdollisimman paljon tallennustilaa mahdollisimman halvalla jne.

Kahden pyörivän levyn pakkaan helppo sanoa RAID1 ja 5-6 levyn pakkaan RAID6.

SSD kanssa RAID5 taas ei ole mikään ongelma kun rebuild ei käytännössä rasita muita levyjä ja tapahtuu yleensä hyvin nopeasti.

Näinpä. Ja RAID5 riskit olivat kohtuullisemmat joskus pienemmillä levyillä, kun rebuildissa meni se parista tunnista työpäivään. Mutta joku 4x16TB levynkin pakka rebuildaa monta päivää, 8x16TB viikon. Ja monta päivää kun rasittaa levyjä putkeen, kasvaa riski myös sille, että sieltä pakasta narahtaa sinä aikana toinenkin levy. Mutta toisaalta jos on backuppeja tärkeistä jutuista, ja data ei ole kriittistä, niin voihan sitä kotipalvelimessa ottaa näitä riskejä.

 

[JiiPee]

Mutta joku 4x16TB levynkin pakka rebuildaa monta päivää, 8x16TB viikon.

Nyt en ymmärrä. Mihin nämä luvut oikein perustuu?

oli niitä levyjä 4 taikka 40 niin se rebuild aika kyllä pitäisi olla aika pitkälti sama. Siis eihän siellä tehdä mitään muuta kuin luetaan olemassa olevilta levyiltä stripet ja pariteetti, tehdään laskenta ja kirjoitetaan uudelle levylle. Ja tätä jatketaan kunnes se on tehty koko levylle. Lukuoperaatio voidaan tehdä kaikilta levyiltä rinnakkain, sen takia se on ihan se ja sama montako niitä levyjä on.

Ja 16TB levyn täyteen kirjoitus ei kestä useita vuorokausia vaan noin vuorokauden. Jos se kestää useita vuorokausia, niin sitten teet jotain väärin. Sen saa kestämään vaikka monta viikkoa jos sitä pakkaa samalla käytetään rajusti. Rebuild on niin harvinainen operaatio että silloin kaikki muu homma täysin seis ja antaa sen rebuildin tapahtua.

EDIT: Niin tosiaan unohtui että siellä on kernelissä myös pari parametriä jotka vaikuttaa tuohon rebuild aikaan.

dev.raid.speed_limit_min = 50000
dev.raid.speed_limit_max = 2000000

Ittellä on noin, kun fedorassa vakiona on 1000 ja 200000 jotka on megoina siis 1MB ja 200MB. Jos toi on ihan yleinen defaultti niin silloin toi ei edes anna rebuildaa täydellä nopeudella ja toi minimi taas tunkkaa rebuildin niin alas jos pakalla on jotain muutakin toimintaa samanaikaisesti että kestää varmasti ikuisuuden.

 

[hurubaw]

Nyt en ymmärrä. Mihin nämä luvut oikein perustuu?

oli niitä levyjä 4 taikka 40 niin se rebuild aika kyllä pitäisi olla aika pitkälti sama. Siis eihän siellä tehdä mitään muuta kuin luetaan olemassa olevilta levyiltä stripet ja pariteetti, tehdään laskenta ja kirjoitetaan uudelle levylle. Ja tätä jatketaan kunnes se on tehty koko levylle. Lukuoperaatio voidaan tehdä kaikilta levyiltä rinnakkain, sen takia se on ihan se ja sama montako niitä levyjä on.

Ja 16TB levyn täyteen kirjoitus ei kestä useita vuorokausia vaan noin vuorokauden. Jos se kestää useita vuorokausia, niin sitten teet jotain väärin. Sen saa kestämään vaikka monta viikkoa jos sitä pakkaa samalla käytetään rajusti. Rebuild on niin harvinainen operaatio että silloin kaikki muu homma täysin seis ja antaa sen rebuildin tapahtua.

EDIT: Niin tosiaan unohtui että siellä on kernelissä myös pari parametriä jotka vaikuttaa tuohon rebuild aikaan.


Ittellä on noin, kun fedorassa vakiona on 1000 ja 200000 jotka on megoina siis 1MB ja 200MB. Jos toi on ihan yleinen defaultti niin silloin toi ei edes anna rebuildaa täydellä nopeudella ja toi minimi taas tunkkaa rebuildin niin alas jos pakalla on jotain muutakin toimintaa samanaikaisesti että kestää varmasti ikuisuuden.

Juu, softaraidilla ja modernilla hardwarella rebuild voi jyystää sitä täyttä 150-200MB/s sen levyn täyteen. Mutta noilla vanhemmilla NAS:eilla ja hardware raid controllereilla on joku toinen tulppa, olisiko laskentateho, joka puristaa revuildin kirjoitusnopeudet tuonne 50MB/s luokkaan.