BuDDHa's Server

BuDDHa schreef:

Stijn schreef:

Ik versta er niks van..
Dus unraid is al afgeschreven of ga je 2 servers naast elkaar laten runnen?

Unraid is niet afgeschreven, ga gewoon eens ZFS testen en meerbepaald Open Indiana + napp-it en de snelheid eens testen!
Ben ik tevreden dan blijf ik bij ZFS.

gr33tz

met dezelfde dingen die in unraid zitten?
wat is nu het verschil tussen beide? (buiten de snelheid dan)
is zfs even betrouwbaar en flexibel?
ook met addons en dergelijke?

Best eens lezen:

ZFS

BuDDHa schreef:

Best eens lezen:

ZFS

pff; kunde nie kort de voor en nadelen tov unraid opnoemen?

Stijn schreef:

BuDDHa schreef:

Best eens lezen:

ZFS

pff; kunde nie kort de voor en nadelen tov unraid opnoemen?

Als jij tevreden bent met Unraid moet je daarbij blijven. Unraid is voor mij te traag maar anders is het een mooi medium om data op te slaan!
ZFS is 128bit in tegenstelling tot Unraid 32bit. Zfs werkt met pools. Je kunt een aantal schijven toekennen aan een pool en dan doe je ermee wat je wilt. Mirroren, raidz1-2 of 3. ALs je in raidz (ongeveer hetzelfde als raid-5) een pool hebt van bvb 10 HDD's dan verlies je er een aan parity, bij raidz-2 2 schijven,enz..
Data wordt verspreid over de ganse pool en niet op disk-per-disk basis zoals Unraid. Je bent wel verplicht zelfde grootes te gebruiken per pool maar niets weerhoud je ervan verschillende pools te maken met diverse grotes in schijven. Je kan ook gebruik maken van hybride systemen. ZFS ondersteunt gebruik van SSD's voor zowel write of read cache. Ben je bang dat tijdens het kopieren naar een pool je write cache weigert dan kun je hem mirroren! Er zijn ook tal van addons dat je kunt gebruiken. Ben toch van plan ZFS uitgebreid te testen daar er ook verschillende mogelijkheden zijn!
Will keep you posted!

gr33tz

BuDDHa schreef:

Stijn schreef:

BuDDHa schreef:

Best eens lezen:

ZFS

pff; kunde nie kort de voor en nadelen tov unraid opnoemen?

Als jij tevreden bent met Unraid moet je daarbij blijven. Unraid is voor mij te traag maar anders is het een mooi medium om data op te slaan!
ZFS is 128bit in tegenstelling tot Unraid 32bit. Zfs werkt met pools. Je kunt een aantal schijven toekennen aan een pool en dan doe je ermee wat je wilt. Mirroren, raidz1-2 of 3. ALs je in raidz (ongeveer hetzelfde als raid-5) een pool hebt van bvb 10 HDD's dan verlies je er een aan parity, bij raidz-2 2 schijven,enz..
Data wordt verspreid over de ganse pool en niet op disk-per-disk basis zoals Unraid. Je bent wel verplicht zelfde grootes te gebruiken per pool maar niets weerhoud je ervan verschillende pools te maken met diverse grotes in schijven. Je kan ook gebruik maken van hybride systemen. ZFS ondersteunt gebruik van SSD's voor zowel write of read cache. Ben je bang dat tijdens het kopieren naar een pool je write cache weigert dan kun je hem mirroren! Er zijn ook tal van addons dat je kunt gebruiken. Ben toch van plan ZFS uitgebreid te testen daar er ook verschillende mogelijkheden zijn!
Will keep you posted!

gr33tz

ik ben er tevreden over ja, maar als het beter kan, kan het beter he
ik sta open voor alles, maar de prijs telt ook mee
vandaar dat ik dit topic zal volgen :p

BuDDHa schreef:

kristofb schreef:

Geen idee of we deze al eens ergens besproken hadden, maar ik heb momenteel OpenIndiana + Napittdraaien icm ZFS, en moet zeggen dat dat wel performant werkt, mits de nodige GB ram...

Misschien leuk voor jou om eens te testen?

http://openindiana.org/
http://wiki.openindiana.org/oi/Using+OpenIndiana+as+a+storage+server
http://www.napp-it.org/
http://www.napp-it.org/doc/downloads/napp-it.pdf


Ben trouwens wel benieuwd naar die case van je? Mag ik weten hoeveel je die betaald hebt? En zit daar een backplane in dan?

Hoeveel ram heb jij draaien? Ik heb nu 8GB maar kan er nog altijd bij steken. De case is niet goedkoop (440€) maar goedkoper dan bvb Chenbro of andere merken als je naar server cases gaat! Ik heb de ventilators veranderd naar 3x120mm PWM silent fans en 2x80mm PWM silent fans en kan nu echt niet zeggen of hij aan staat!Voor meer info over de case Norco RPC 4224
Deze week als ik alles ontvangen heb kan ik beginnen aan mijn server.
Ik wacht nog op schijven en 3 HBA kaarten.

Server zal er zo uitzien om te beginnen:

2x WD 2.5 160GB in mirror OS
2x OCZ Vertex 3 120GB als SIL write cache in Mirror (zo is mijn data niet verloren indien 1 crashed)
1x OCZ Vertex 3 120GB als L2ARC read cache (deze hoef je niet te mirroren)
1 pool met 8x sata-600 2TB schijven RaidZ
1 pool met 3x sata-600 3TB schijven RaidZ

Ik heb zelf momenteel ook maar 8GB steken. Huidige setup is 1x 2tb OS en 1 vdev met 4x 2tb RaidZ + een 2de vdev met 5x750gb RaidZ2 (puur als testsetup)
Mijn uiteindelijke bedoeling is om te beginnen met een OS schijf op een kleine cheapo sd + 1 vdev met 5x 2TB RaidZ en daarna de huidige 8x 2TB in een volgende vdev te steken (ook RaidZ). (was eerst RaidZ2 van plan, maar dat lijkt me wat overkill) Daarna de data van vdev 1 moven naar vdev 2, en dan vdev 1 rebuilden met 3 extra 2TB disks die ik sowieso moet aankopen om de huidige data te kunnen moven. (disks voor vdev 2 zijn momenteel in gebruik en redelijk vol al)
Qua aankopen zit ik dus redelijk beperkt naar de toekomst toe. Moet alleen afwachten wat dat gaat geven met 2 vdev's van die grootte ivm ram memory. Momenteel loopt dit netjes met de 8GB, maar véél meer moet ik toch ook niet meer gaan doen.

Ter info: de huidige vdev 2 loopt met 3hd's over onboard sata, en 2 over extra controller, en dit was geen probleem. Heb wel nog geen metingen gedaan.

Je zegt dat je 2 SSD's in mirror als write cache wilt gebruiken, maar dat word toch niet ondersteund voor cache disks? Ben nu wel niet helemaal met wat je bedoelt met 'SIL' write cache? Is dat dan nog iets apart?

Cache disks gaan voor mij denk ik weinig meerwaarde geven, aangezien het puur een storage server moet gaan worden met data die maar zelden courant herbruikt word.

Die case van je ziet er in ieder geval interessant uit, en moet ik ook in't achterhoofd houden voor volgend jaar

Hey,

Iets voor onder de kerstboom! Zo'n case...
Hoop dat mijn kaartjes vlug toekomen en dat ik ze op mijn PC kan flashen, want werkt niet op ieder moederbord en zou dan moeten zoeken om een PC van iemand anders te gebruiken!

gr33tz

BuDDHa schreef:

Hey,

Iets voor onder de kerstboom! Zo'n case...
Hoop dat mijn kaartjes vlug toekomen en dat ik ze op mijn PC kan flashen, want werkt niet op ieder moederbord en zou dan moeten zoeken om een PC van iemand anders te gebruiken!

gr33tz

Veel geluk ermee

Al verder in je testen?

Stijn schreef:

Al verder in je testen?

Nee, IBM kaartjes zitten nog vast bij douane!
Normaal deze week geleverd!

aha toch licht in de duisternis

Stijn schreef:

aha toch licht in de duisternis

Yo,

Mijn Solaris 11 ZFS server is up & running.....
Speed is nu eindelijk goed met een 115MB/s write/read speed.
Eindelijk tevreden over snelheid!

Congrats

mooi

Damn. Dat is een snelheid om jaloers op te zijn...

Met mijn Unraid haal ik dit belange niet helaas.

Ik wil toch nog altijd weten wat nu de verschillen zijn buiten de snelheidwinst

Sphinkx schreef:

Damn. Dat is een snelheid om jaloers op te zijn...

Met mijn Unraid haal ik dit belange niet helaas.

Heeft zijn voor-en nadelen.... Je maakt een pool van schijven aan en dat wordt dan als 1 directory gezien. Pools bestaan uit vdevs... die bestaan uit schijven van bvb gelijke grote met 1 parity schijf indien je RaidZ1 gebruikt:

Pool1

- bvb Vdev1 van 6 x 1TB - 1TB parity = 5TB
- bvb Vdev2 van 4 x 2TB - 2TB parity = 6TB
----------------------------------------------------
ToT: 11TB bruikbare ruimte
- bvb Vdev3 write cache Crucial M4 SSD 128GB

Je maakt zoveel pools je wilt en die zullen dan telkens als 1 fysieke schijf gezien worden!
Indien je een snelle pool wilt maken kun je bvb schijven in Mirror plaatsen. Mijn OS staat op 2 x 2.5 WD's 120GB uit een oude laptop. Moet nog eens kijken of ik die op USB stick kan plaatsen maar zoals ik zeg dit is slechts een testopstelling!
Indien je meer redundancy wilt is er RaidZ1 min 3 schijven/1 mag je verliezen, RaidZ2 min.4HDD/2 verliezen, RaidZ3 min 5HDD/3 verliezen
Dit is ook software raid zoals Unraid..indien 1 van je HBA kaarten defect is hoef je niet dezelfde erin te steken <-> Raid 5-6 (hardware raid), of je hangt ze gewoon aan een andere controller of zelfs ander systeem en je kan gewoon verder!
Nadeel is dat je wel degelijk Vdevs moet maken met gelijke grote aan schijven <-> Unraid. Maar een groot voordeel van ZFS is dat het een modulair systeem is die werkt op 128bit <-> 32bit Unraid en je kan SSD's gebruiken, read cache toevoegen indien je veel gebruikers hebt, zelfs een mirrored write cache toevoegen indien je bang bent dat 1 SSD zou uitvallen tijdens het schrijven naar de array!
Ondersteunt NFS,SMB,AFP,FTP,Rsync, Snapshots wat ik héél tof vind...je maakt bvb een Job aan dat hij dagelijks 2 snapshots aanmaakt. Vanuit Win7 kun je dan gewoon naar een previous snapshot gaan door rechts te klikken op de folder! Dus indien je per ongeluk iets wist kan je altijd terug!
Ik draai Solaris 11 Final maar indien je Open Indiana draait is er ook een hele community die extras schrijven met allerhande tools zoals er zijn in Unraid.
Voor mij moet het slechts een server zijn, geen extras..ik download toch met een NAS!

gr33tz

PS: En...t'is gratis!

Nadeel vind ik dan weer dan je os terug op een hdd moet staan
Wat gebeurt er indien je bvb raid 5 instelt (dus max 1 hdd kapot kun je vervangen) en er falen 2 harde schijven? Ben je dan enkel hetgeen van die ene hdd kwijt of ben je alles kwijt?
Ivm die addons (extras) wat wordt er hier allemaal ondersteund?
Zijn 3 tb schijven al ondersteund?
Gaan de schijven ook in slaapmodus als ze niet gebruikt worden?
Worden de verschillende poolen ook als 1 geheel gezien?

Yo,

Er is ook een USB versie maar moet die nog eens proberen, probleem is dat je zoveel versies hebt van ZFS distros en ik nog volop moet testen!
indien je meer zekerheid wilt moet je maar naar RaidZ2 gaan. ZFS is ook self healing door het copy-on-write systeem en detecteert vlugger fouten dan bvb hardware raid-5. Het systeem vergelijkt constant de data op de schijven met die toen het geschreven werd en corrigeert op die basis! In al die jaren dat ik al Raid-5 draai op mijn NAS systemen heb ik nog maar 1 schijf gehad die faalde, en het was dan nog het systeem die mij vroegtijdig waarschuwde aan de hand van SMART informatie! De schijf was nog niet kapot! Indien je echt zeker wilt zijn moet je altijd belangrijke informatie op meer dan 1 plaats stockeren...doe ik ook met foto's en home movies..kortom dingen die echt niet verloren mogen gaan!
ZFS ondersteunt spin-down en 3TB schijven. Indien je alles als 1 geheel wilt zien blijf je bij 1 pool...kortom je doet wat je wilt en kan altijd die ene pool uitbreiden met extra vdevs!
ZFS is gemaakt voor grote opslag systemen en is niet beperkt tot 20 schijven zoals Unraid!

gr33tz

Yo,

Ben bezig met Freenas 8.02 eens te proberen. Vond die Solaris 11 met Napp-it wat moeilijk omdat ik de Napp-it gui nog te onvolwassen vond met heel wat features die nog niet werken. Nu Freenas 8.02 is heel wat gemakkelijker te installeren en heeft een gemakkelijke gui. Is wel gebaseerd op een oudere versie van ZFS maar denk wel dat hij binnenkort geupdate wordt! De features die ontbreken zijn niet echt belangrijk voor mij zoals deduplication. Ondersteunt ook alleen maar Raidz1-2 geen 3! Maar dat zal ik toch niet gebruiken. Was gemakkelijk te installeren op USB-stick.
Freenas 7.x is ook heel populair maar werkt op een verouderde basis! De missing addons uit de 7.x zullen in de de volgende update van de 8.x ook toegevoegd worden...oa. slimserver,torrentdownload,etc!
Zal dan seffens eens de snelheid testen!

gr33tz

FreeNAS

Ge vind die nog altijd beter dan unraid?

Zeg, 5 januari, zijt ge thuis?

Stijn schreef:

Ge vind die nog altijd beter dan unraid?

Zeg, 5 januari, zijt ge thuis?

Zowiezo vind ik ZFS beter dan Unraid maar dan voor mezelf! Ik vind snelheid belangrijk en daar schoot Unraid te kort! Enige voordeel is dat je je volume kan vergroten met verschillende groottes van schijven. Unraid is van het concept write-once-read-many...goed om hier en daar een bestand of een film te versluizen maar wanneer het gaat om 10-20TB schiet het tekort wegens véél te traag.Zelfs met cache disc,éénmaal vol moet je wachten tot hij zijn cache geleegd heeft! De addons zijn ook een pluspunt en de goede support maar die addons heb ik al op mijn QNAP.
ZFS is voor mij veel beter..ok de gui van napp-it is nog onvolwassen,het meeste werkt al maar zit nog in beta fase. Indien je iets wilt veranderen dat nog niet werkt in de gui, momenteel, moet je veranderen rechtsreeks op de server,dus niet via ip. Maja éénmaal ingesteld kom je daar toch niet meer aan!
Gisteren Freenas getest, mooie Gui, veel mogelijkheden maar snelheid van ZFS was heel wat minder! Ook niet moeilijk te begrijpen aangezien Freenas op Freebsd gebaseerd is en normaal formateert in UTF. Dus daar schiet Freenas een beetje tekort! Maar Freenas kan alles en is vooral beter in gebruik met software raid en hardware raid!
Ik weet wat ik wil en het is ZFS, alleen nog een gemakkelijke gui vinden, maar napp-it is daar niet ver meer van!
Dus vandaag installeer ik weer Solaris 11 (recentste ZFS) server op USB samen met napp-it en denk dat het daarbij zal blijven!
Zal ook eens de deduplication feature testen en kijken of ik dan nog on-the-fly BD's kan streamen!

Wiki Deduplication

PS: Voor de Meet & greet moet ik nog eens kijken!

Je praat er alleszins veelbelovend over

Ok voor meet&greet

Yo,

Na verschillende soorten ZFS getest te hebben ben ik uiteindelijk geeindigd bij Solaris 11 + Napp-it.
De server draait nu al 24u en heb al een goeie 5TB gekopieerd aan een constante snelheid van 115MB/s (vanaf 1HDD in pc naar de server)
Samba werkt en NFS ook, op mijn Dune werkt de NFS share perfect zonder stotteren, heb zelfs een 2de TViX aangesloten en 2 BD's tegelijk zitten streamen!
Nu wil ik nog een backup job aanmaken om een test backup te maken van een BD-folder op mijn QNAP en eens testen wat de backup snelheid zal zijn tussen de QNAP in Raid-5 en de Solaris ZFS in Raidz. FTP moet ik ook nog aan de praat krijgen maar alles op zijn tijd!

gr33tz

EDIT 1 : Bestanden boven de 500MB gaan rond de 115MB/s, kleine bestanden zoals foto's gaan traag vergeleken maar bestanden tussen de 100-500MB gaan rond 130-140MB/s...zeeeeeeeer snel dus!

Das idd zeer snel !