NAS rakentelut

  • Keskustelun aloittaja Keskustelun aloittaja dun
  • Aloitettu Aloitettu
Elikkä mun mielestä tää sun raid5 vieroksunta on hiukan ylireagointia ja tämä nyt ihan omaan kokemukseen pohjautuen noin 30v raid5 kokemuksella jonka ajan olen raid5 ajanut erilaisilla kokoonpanoilla. Ja olihan tuossa jo aikaisempikin kokemusasiantuntijan kommenti että suurimmat ongelmat hänellä on ollu niitä itse aiheutettuja.
Tämmöiset vaan helposti muodostuu sellaiseksi turhaksi pelon lietsonnaksi jolla ei ole juurikaan todellisuuspohjaa. Jos se data on niin tärkeää että sen menetyksestä kuolema tulee niin sitten se data on syytä taltioida moneen paikkaan ja fyysiseen sijaintiin. Itsellä ei mitään niin tärkeää ole. Se että tuo data olisi huomenna poissa vituttaisi kovin, mutta ei se ketään tapa.
Kuten tuossa itse jo aiemmin sanoin, niin kukin määrittelee itselleen sopivan riskitason ja rakentaa kokoonpanon sen pohjalta. Itsekin siis käytän RAID5 verrokkia (RAIDZ1), mutta siten miten sen määritän itse riittävän turvalliseksi.

RAID5 voi olla ihan hyvä ratkaisu, mutta minun mielestäni vain tietyin rajaehdoin. Minä tiedän omat rajaehtoni sille, milloin sen käyttö on ok, mutta monesti tuntuu, että monet rakentajat eivät noita omia rajaehtojaan mieti. Suuri osa ensimmäisen NAS:n kasailijoista katsoo ensin hintaa, sitten kokonaisuuden vaikeusastetta ja toimintavarmuus sekä palautumissuunnitelma tulee sitten joskus myöhemmin (jos tulee lainkaan ennen ensimmäistä rauta-/softaongelmaa).

Jos siis kysymys tulee muodossa "Rakennan ensimmäistä NAS:ia ja ajattelin tallentaa sinne paljon ja kaikkea", niin RAID5 suosituksen kanssa olisin varovaisempi kuin muut. Tietääkö käyttäjä tekeekö hänen valitsemansa tiedostojärjestelmä checkejä tai scrubeja? Onko ne laitettu pyörimään säännöllisesti? Tietääkö hän että tiedostojaot kannattaa laittaa offlineen rebuildin ajaksi? Eiväthän nämä RAID5 riskit edes pääse realisoitumaan jos oikeasti tietää, miten se palvelin pidetään ehjänä ja miten rebuildit hoidetaan.

Makueroja, mutta itse liputan RAID6:n puolesta näin oletusarvoisesti. RAID5 on ihan ok, jos tietää mitä tekee ja jos tietää mitä tekee, niin keskustelu tuskin aukeaa kysymällä "Onko RAID5 ok?"

Edellistä ei ole millään tapaa tarkoitettu loukkaukseksi ketään kohtaan. On ihan ok kysyä asioita ja vastaukset jakaantuvat.
 
Neljän pyörivän levyn NAS/RAID pakka on se hankalin antaa suosituksia. RAID5 optimoi käytettävissä olevan tilan, mutta sisältää riskejä. RAID6 sijaan RAID10 olisi nopeampi, mutta molemmat syö puolet raakakapasiteetista mikä taas saattaa ahdistaa kun yrittää optimoida mahdollisimman paljon tallennustilaa mahdollisimman halvalla jne.

Kahden pyörivän levyn pakkaan helppo sanoa RAID1 ja 5-6 levyn pakkaan RAID6.

SSD kanssa RAID5 taas ei ole mikään ongelma kun rebuild ei käytännössä rasita muita levyjä ja tapahtuu yleensä hyvin nopeasti.
 
ZFS:ssä vissiin on nykyään ominaisuus, että pakkaan voi lisätä levyn ja tilan saa myös käyttöön. Tällöin neljällä levyllä kannattaisi varmaan laittaa raidz2 (eli RAID6) ja lisätä levy jos joskus tarvii +50% tilaa.
 
Neljän pyörivän levyn NAS/RAID pakka on se hankalin antaa suosituksia. RAID5 optimoi käytettävissä olevan tilan, mutta sisältää riskejä. RAID6 sijaan RAID10 olisi nopeampi, mutta molemmat syö puolet raakakapasiteetista mikä taas saattaa ahdistaa kun yrittää optimoida mahdollisimman paljon tallennustilaa mahdollisimman halvalla jne.

Kahden pyörivän levyn pakkaan helppo sanoa RAID1 ja 5-6 levyn pakkaan RAID6.

SSD kanssa RAID5 taas ei ole mikään ongelma kun rebuild ei käytännössä rasita muita levyjä ja tapahtuu yleensä hyvin nopeasti.
Näinpä. Ja RAID5 riskit olivat kohtuullisemmat joskus pienemmillä levyillä, kun rebuildissa meni se parista tunnista työpäivään. Mutta joku 4x16TB levynkin pakka rebuildaa monta päivää, 8x16TB viikon. Ja monta päivää kun rasittaa levyjä putkeen, kasvaa riski myös sille, että sieltä pakasta narahtaa sinä aikana toinenkin levy. Mutta toisaalta jos on backuppeja tärkeistä jutuista, ja data ei ole kriittistä, niin voihan sitä kotipalvelimessa ottaa näitä riskejä.
 
Mutta joku 4x16TB levynkin pakka rebuildaa monta päivää, 8x16TB viikon.

Nyt en ymmärrä. Mihin nämä luvut oikein perustuu?

oli niitä levyjä 4 taikka 40 niin se rebuild aika kyllä pitäisi olla aika pitkälti sama. Siis eihän siellä tehdä mitään muuta kuin luetaan olemassa olevilta levyiltä stripet ja pariteetti, tehdään laskenta ja kirjoitetaan uudelle levylle. Ja tätä jatketaan kunnes se on tehty koko levylle. Lukuoperaatio voidaan tehdä kaikilta levyiltä rinnakkain, sen takia se on ihan se ja sama montako niitä levyjä on.

Ja 16TB levyn täyteen kirjoitus ei kestä useita vuorokausia vaan noin vuorokauden. Jos se kestää useita vuorokausia, niin sitten teet jotain väärin. Sen saa kestämään vaikka monta viikkoa jos sitä pakkaa samalla käytetään rajusti. Rebuild on niin harvinainen operaatio että silloin kaikki muu homma täysin seis ja antaa sen rebuildin tapahtua.

EDIT: Niin tosiaan unohtui että siellä on kernelissä myös pari parametriä jotka vaikuttaa tuohon rebuild aikaan.
dev.raid.speed_limit_min = 50000
dev.raid.speed_limit_max = 2000000

Ittellä on noin, kun fedorassa vakiona on 1000 ja 200000 jotka on megoina siis 1MB ja 200MB. Jos toi on ihan yleinen defaultti niin silloin toi ei edes anna rebuildaa täydellä nopeudella ja toi minimi taas tunkkaa rebuildin niin alas jos pakalla on jotain muutakin toimintaa samanaikaisesti että kestää varmasti ikuisuuden.
 
Viimeksi muokattu:
Nyt en ymmärrä. Mihin nämä luvut oikein perustuu?

oli niitä levyjä 4 taikka 40 niin se rebuild aika kyllä pitäisi olla aika pitkälti sama. Siis eihän siellä tehdä mitään muuta kuin luetaan olemassa olevilta levyiltä stripet ja pariteetti, tehdään laskenta ja kirjoitetaan uudelle levylle. Ja tätä jatketaan kunnes se on tehty koko levylle. Lukuoperaatio voidaan tehdä kaikilta levyiltä rinnakkain, sen takia se on ihan se ja sama montako niitä levyjä on.

Ja 16TB levyn täyteen kirjoitus ei kestä useita vuorokausia vaan noin vuorokauden. Jos se kestää useita vuorokausia, niin sitten teet jotain väärin. Sen saa kestämään vaikka monta viikkoa jos sitä pakkaa samalla käytetään rajusti. Rebuild on niin harvinainen operaatio että silloin kaikki muu homma täysin seis ja antaa sen rebuildin tapahtua.

EDIT: Niin tosiaan unohtui että siellä on kernelissä myös pari parametriä jotka vaikuttaa tuohon rebuild aikaan.


Ittellä on noin, kun fedorassa vakiona on 1000 ja 200000 jotka on megoina siis 1MB ja 200MB. Jos toi on ihan yleinen defaultti niin silloin toi ei edes anna rebuildaa täydellä nopeudella ja toi minimi taas tunkkaa rebuildin niin alas jos pakalla on jotain muutakin toimintaa samanaikaisesti että kestää varmasti ikuisuuden.
Juu, softaraidilla ja modernilla hardwarella rebuild voi jyystää sitä täyttä 150-200MB/s sen levyn täyteen. Mutta noilla vanhemmilla NAS:eilla ja hardware raid controllereilla on joku toinen tulppa, olisiko laskentateho, joka puristaa revuildin kirjoitusnopeudet tuonne 50MB/s luokkaan.
 
Juu, softaraidilla ja modernilla hardwarella rebuild voi jyystää sitä täyttä 150-200MB/s sen levyn täyteen. Mutta noilla vanhemmilla NAS:eilla ja hardware raid controllereilla on joku toinen tulppa, olisiko laskentateho, joka puristaa revuildin kirjoitusnopeudet tuonne 50MB/s luokkaan.

No itse en nyt oikein laske nas rakenteluksi jos ostetaan valmista nas rautaa ja varsinkin jos se rauta on jo uutuuttaan sellaista että sillä ei tee mitään.

Aika harvassa myös alkaa tänäpäivänä olla ns. hardware raid toteutukset. Siihen on useampikin syy. Tärkeimpänä että ne on blackboxeja pääsääntöisesti ja siitä syhtyy melkoinen tivoli jos se ohjain hajoaa. Joko hankit uuden ohjaimen, tai jos ohjainta ei ole saatavilla niin sitten data on melkovarmasti menetetty.
 
Budjettiratkaisun NAS:ia toteuttaessa päädyin tällaiseen ratkaisuun, josta mielellään kuulen mielipiteitä:

Optiplex 7050 SFF (i5-6500, 16gb ddr4)
Intel I350-T2 dual RJ45 gigabit PCIe
Dell H200E HBA PCIe (kahdella ulkoisella 8088 SAS liittimellä)
8(10)x 1tb 3.5" Toshiba SAS levyjä (paketissa 10 levyä, joista käyttöön tulee 8)
Kaapelit levyille: 2x 8088 -> 4x8482 + power
Kovalevyteline 8-levylle

Hinta tälle kokonaisuudelle kotiin toimitettuna on tällä hetkellä ~270€, joka omasta mielestä on melko kohtuullinen, joskin osat on vielä maailmalla, joten toimivuudesta ei voi mennä täysin takuuseen.

Suunnitelmissa on ajaa TrueNas:ia Proxmoxin päällä niin, että levyt on zfs poolissa kahdessa raidz1 sarjassa, jolla saa testattua toimivuutta / suorituskykyä. Tämä setuppi todennäköisesti päätyy jatkossa kameravalvonnan palvelimeksi, reilumman (ja tehokkaamman) NAS:n tieltä.

Onko esim. OS puolelle jotain järkevämpää vaihtoehtoa, kun periaatteessahan myös Proxmox toiminee suoraan NAS:n OS:nä?
 
Aika rane ratkaisu, jos kovalevyteline on mallia metalliliuskat? Satasella mennyt foorumilla i5-8600k + emo + 16GB muistit, jotka voisi laittaa järkevämpään koppaan ja kovot sisäisesti. Jopa ilman HBA:ta.

1TB kovoista en maksaisi mitään enää nykypäivänä, 5-10W (karkeasti) per levy niin tulee kalliiksi noin montaa pyörittää. Mielummin vaikka 2x4TB peilinä..
 
Aika rane ratkaisu, jos kovalevyteline on mallia metalliliuskat? Satasella mennyt foorumilla i5-8600k + emo + 16GB muistit, jotka voisi laittaa järkevämpään koppaan ja kovot sisäisesti. Jopa ilman HBA:ta.

1TB kovoista en maksaisi mitään enää nykypäivänä, 5-10W (karkeasti) per levy niin tulee kalliiksi noin montaa pyörittää. Mielummin vaikka 2x4TB peilinä..

Ei sentään metalliliuskat, vaan tällainen "tornikotelo" : Multi-Layer Hard Drive Cage Hard Drive Bracket for 3.5in HDD SSD DIY Storage Acrylic Rack Shelf with Cooling Fan Space - AliExpress 7

Satasella ei kyllä viime aikoina ole ainakaan itsellä osunut silmään ainuttakaan foorumilta tai torista, ja jostainhan pitäisi vielä koppa ja virtalähde vähintään löytää kokoonpanoon. 7050 maksoi 80€, mutta saa toki linkata parempia vaihtoehtoja samalla hinnalla?

Sama kyllä koskee kovojakin, saa toki laittaa linkkiä mistä saa samaan hintaa (89€ / 10x 1TB) 2x4TB? Teran levyistä (4x1TB) raidz1x2 saa kuitenkin 6TB tilaa, tai raidz2 4TB, joka on jopa turvallisempi kuin 2x4TB peilinä.
 
mutta saa toki linkata parempia vaihtoehtoja
Proxmox käytössä kannataa kiinnittää huomiota virtualisointiin kuten pci passthoug sitä kaipaa kuitenkin jossain vaiheessa. Mulla käytössä 3kpl Lenovo M710s runkoja, ahtaita nas käyttööön mutta muuten kivoja.
Pari M2 paikkaa joka yhdessä nvme levyn kanssa sallii sata väylän eristämisen nas käyttöön.

Openmediavaulttia olen koittanut kesyttää, mutta aina kun luulen että osaan niin tulee jaoissa joku ongelma. Lähinnä täppä jossa sallitaan kaikille jako alhakemistoihin ei tahdo pysyä päällä, ärsytttävää.
 
Proxmox käytössä kannataa kiinnittää huomiota virtualisointiin kuten pci passthoug sitä kaipaa kuitenkin jossain vaiheessa. Mulla käytössä 3kpl Lenovo M710s runkoja, ahtaita nas käyttööön mutta muuten kivoja.
Pari M2 paikkaa joka yhdessä nvme levyn kanssa sallii sata väylän eristämisen nas käyttöön.

Openmediavaulttia olen koittanut kesyttää, mutta aina kun luulen että osaan niin tulee jaoissa joku ongelma. Lähinnä täppä jossa sallitaan kaikille jako alhakemistoihin ei tahdo pysyä päällä, ärsytttävää.

Proxmoxin passtroughsta tosiaan on aika paljon mielipiteitä tiedon lisäksi, ja itse olen kallistumassa kannalle, jossa Proxmox hoitaa koko fyysisen levynhallinnan, jolloin vm:llä ei (pitäisi) tarvita miettiä tuota tiedon kulkua, vaan kaikki NAS-puolen hallinta on pelkkää virtuaalia. Tämä (ilmeisesti) myös helpottaa jonkin verran muutosten tekemistä pooliin, varsinkin jos samalla setupilla ajetaan useampia virtuaalikoneita.

Näin itseasiassa tein jo palomuurin kanssa, jonka rakensin samanlaisesta 7050 Optiplexistä, johon lisäsin samanalaisen I350-T2 dual- verkkokortin jonka meinaan laittaa myös tähän NAS:n.

Kortin verkkoportit on Proxmossissa sillattu virtuaalisesti, joita sitten hallitseee pfsense, joka toimii mukisematta, eikä ainakaan nopeuden puolesta mikään ole osoittautunut pullon kaulaksi, joka tällä hetkellä lienee reititin gigabitin porteilla.

OS:ien välillä tuntuu olevan enemmän mielipiteitä kun varsinaista "käytännön" infoa harrastelijatasolle, joten mahtaako todellisuudessa olla kovin suurta merkitystä mitä NAS:n käytössä ajaa, jos kaikki toimii omien toiveiden mukaan?

Pystyykö esim. energian käyttöä optimoimaan paremmin jollain tietyllä OS:llä?
 
Mun mielestä nas käytössä eristetty pci sata kortti on selkein, mulla oli joku suoraan proxmoxin päällä pyörivä nas, mutta siinä kyllä menetettiin virranhallinta proxmox pollaa jotain juttuja koko ajan joka esim käynnistää levyn uudelleen.
Lisäksi levyjen säätö on yhtä pentelettä, ne täytyy erikseen määritellä id:n mukaan nassille.

Verkkokortti on sitten vähän makuasia ehkä reitittimen wan puoli antaa turvallisemman olon eristettynä, tosin myös virtuaalisena käyttö ilman vlan on hankalaa.

Openmediavault on yksinkertainen perusnas, vaikka mun sen toimintalogiikka on eri ;)
 
itse olen kallistumassa kannalle, jossa Proxmox hoitaa koko fyysisen levynhallinnan, jolloin vm:llä ei (pitäisi) tarvita miettiä tuota tiedon kulkua, vaan kaikki NAS-puolen hallinta on pelkkää virtuaalia
Vähän epäilen tuon kannattavuutta jos Truenasia halusit ajella. Levyt joko suoraan Truenas VM:lle, jonka päälle se sitten tekee ZFS poolit, tai poolit suoraan Proxmoxilla ja sitten ne poolit jollekin VM:lle/kontille joka ei ole Truenas. Joka tapauksessa ZFS:lle ”suora pääsy” levyihin on se tärkein mitä aina liputetaan
 
Vähän epäilen tuon kannattavuutta jos Truenasia halusit ajella. Levyt joko suoraan Truenas VM:lle, jonka päälle se sitten tekee ZFS poolit, tai poolit suoraan Proxmoxilla ja sitten ne poolit jollekin VM:lle/kontille joka ei ole Truenas. Joka tapauksessa ZFS:lle ”suora pääsy” levyihin on se tärkein mitä aina liputetaan

Tätä jäin tosiaan itsekin pähkäilemään, että onko TrueNas vm ajosta oikeastaan mitään varsinaista hyötyä, jos kaiken voi ajaa suoraan Proxmoxista?
 
Asentaa Proxmoxin LXC konttiin Turnkey Linux File serverin, luo Proxmoxin ZFS pooliin datasetin minkä mounttaa LXC konttiin?
 

Statistiikka

Viestiketjuista
305 989
Viestejä
5 183 066
Jäsenet
82 787
Uusin jäsen
Haavanlehti

Hinta.fi

Back
Ylös Bottom