DISCLAIMER
mulțumesc
Respectați Andrey A. Bakhmetiev, inginer și inventator. Sunt mândră că Andrei Alexandrovici a învățat pentru mine la Institut! Îi urez succes în proiectele sale!
Căi tradiționale
Mituri din industrie
Mitul RAID5
Cel mai frecvent mit în care am crezut eu până de curând este că a doua negare consecutivă a unei matrice în practică nu poate fi în teoria probabilităților. Și aici se poate și cum! Să simulam situația reală: serverul funcționează de câțiva ani, după care discul eșuează în matrice. Până acum nimic nu este în neregulă, punem un nou disc și ce se întâmplă? Da, reconstrucția matricei, adică o încărcare maximă lungă pe discurile deja uzate. În această situație, refuzurile sunt foarte posibil și pot apărea.
Dar asta nu e tot. Există totuși o probabilitate metodică a producătorului de a citi greșelile, care, în anumite circumstanțe, garantează acum că RAID5 nu va putea să se recupereze după o eșecare a discului.
Mitul despre Terabayte
Riscurile proiectului
În orice proiect, este important să înțelegem riscurile, pentru că, în final, construim nu pentru distracție, ci pentru succesul afacerii. Pentru a atinge armonie Krepsondo (ne pare rău, continuitatea afacerii), mai întâi vom construi un model de risc simplificat, care trebuie să țină seama de posibilele eșecuri și consecințele acestora.
hardware-
În buget, nu avem acces la hardware-ul serverului, astfel încât atât discurile, cât și controlorii pot folosi doar cele ieftine și acesta este teritoriul unor eșecuri spontane pe picior de egalitate. Riscurile hardware includ: uzura mecanică (unități de ax, ventilatoare), uzura electrică (memorie flash adevărat în special), o eroare în firmware-ul sau disc controler, defect de alimentare cu energie unitățile care nu corespund standardelor de hardware RAID-matrice scurgeri. Un risc poate fi luat în considerare și lipsa componentelor inventarului de piese de schimb (SPTA) de vânzare din cauza uzurii morale.
program
Pentru eșecurile programelor vom clasifica problemele sistemelor de operare standard care sunt predispuse la auto-distrugere și nu la cea mai bună capacitate de autoreparare după defecțiuni de alimentare, necesitând o administrare regulată. Adăugați aici erorile de reconstrucție a matricei software RAID, erorile în driverele controlorilor, acțiunile utilizatorului (intenționate și neintenționate), acțiunile de cod rău intenționat.
Fontă disponibilă
Am completat gaura mea Kunstkamera pe spatele cazului, datorită interpretării gratuite a standardelor corporale ale producătorului ATX: a fost acolo un panou gol, fără un fișier, nu am fost posibil și am lăsat aceste încercări.
Placa de baza avea un controler de memorie RAM care nu permitea schimbarea barelor in modul STANDBY (acesta este momentul in care computerul este oprit cu butonul, dar sursa de alimentare este pornita). Există chiar și un LED indicator special de ieșire RAM_LED, a cărui sarcină a fost de a alerta administratorul de sistem cu privire la prezența tensiunii în circuit:
Când RAM_LED este activat, nu instalați / scoateți memoria DIMM din soclu
Înlocuirea fierului
Desigur, mama buggy, uzat mecanica si sursa de alimentare vechi nu se încadrează în filosofia Krepsondo (oops, scuze din nou, continuitatea afacerii), și, prin urmare, trebuie să fie înlocuit, în primul rând și fără multe discuții. Armonia lui Krepsondo este mai importantă pentru noi, deci ne-am luat la revedere fierului vechi, și-a îndeplinit misiunea istorică.
Alegerea înlocuirii pentru Socket 478 nu a fost mare: ASRосk P4i65G. Se pare că este o mamă bună cu grafică la bord, trei PCI, două SATA și șase USB la bord. Monitorizarea hardware se bazează pe Winbond W83627 (susținut în pachetul lm-sensors, care ulterior sa dovedit util în calibrarea reostatului ventilatorului pe baza temperaturii procesorului sistemului de funcționare).
Acum nu se scârțeste nimic, descărcarea de pe unitatea flash funcționează bine, ceea ce este deja încurajator. La bord o sută de megabiți pentru o rețea NAS nu este suficient, deci un slot PCI ocupă imediat bugetul D-Link DGE-530T. Mai sunt încă două PCI-uri pe controlerele de disc. De obicei, acestea au până la patru porturi, care, împreună cu două la bord, ne vor oferi posibilitatea de a conecta zece discuri.
Despre noua sursă de alimentare, voi vorbi mai târziu, în timp ce observ că sistemul meu bazat pe Socket 478 a fost de ajuns pentru 250W. Prin urmare, ținând cont de alimentarea cu energie electrică de 200W pe promovarea ax drive-uri, am fost de acord să merg la magazin mi-a oferit o sursă de buget valoare nominală FSP Group ATX-450PNR de 450W. În mod superficial mi-a plăcut fanul mare de viteză redusă de 120 mm - deci, zgomotul va fi mai mic.
În același timp, am luat câțiva fani Zalman ZM-F1-FDB pe un rulment hidrodinamic la modă: primul va merge la răcitorul CPU, cel de-al doilea pentru a sufla primul grup de discuri.
De fapt, rămâne să alegeți cele mai importante.
Disk Subsystem
Pentru stocarea în rețea, sarcina cea mai importantă este selectarea modului array (RAID). Deoarece bugetul soluției nu ne permite să folosim echipamentul de servere, oftăm și amânăm imediat controlerele hardware RAID, SAS și alte Fibre Channel. De asemenea, punem discuri solid-state acolo. Odată ce avem un NAS în bucătărie (îmi pare rău pentru jocul de cuvinte), calea spinoasă va trece prin lumea magică a soluțiilor software RAID bazate pe unități SATA ieftine. Atât de mult mai interesant, dar ajutați-ne să practicăm Krepsondo.
Eșecuri în prima săptămână
Eșecuri în primul an
controlor
Alegerea controlorilor SATA de vintage pentru magistrala PCI nu a fost grozavă. Am cumparat un low-cost STLab A-224 cu 4 porturi bazat pe Silicon Image SiI3114. Acest controler nu suportă în mod oficial unități mai mari decât 2.2TB, deși utilizatorii rari pe forum susțin contrariul.
Deoarece lucrăm cu echipamente bugetare, hardware-ul RAID este mai bine să nu folosească. De ce? Deoarece industria se bazează pe controlere RAID la prețuri bugetare, lăsând în ele insecte insidioase. Deoarece matricea software-ului este mai ușor de montat, repara și tonat. Deoarece computerul nostru este de fapt un controler RAID cu o rețea. Dar încă mai doresc noroc vreunui îndrăzneț care nu va fi de acord cu mine.
În ciuda o mulțime de defecte din fier arhaic are încă un avantaj major: conducătorul auto este posibil să fi fost mult timp cusute în centrul tuturor sistemului de operare din lume, și în timpul anilor de funcționare se agită aproape toate bug-uri, ambele drivere și firmware-ul controlorilor înșiși. Sper că în cazul A-224 este, pentru că bug-urile de firmware sunt foarte, foarte periculoase. Vânzătorul, să dea doi controlori, până când au dispărut definitiv din vânzări.
Să ne uităm din nou la construcția noastră. Simplu, ca un dormitor, controlerul în modul JBOD cu siguranță nu te va lăsa jos. Patru unități SATA din a treia generație sunt mai tinere decât controlorul timp de aproximativ zece ani și produc o medie de 150 MB / s pe placă (aceasta este mai mult decât PCI total). Prin urmare, ei vor stoarce din controler toate sucurile, dar acest lucru este puțin probabil să fie foarte vizibil în rețea. Recuperarea unei oglinzi de 2TB degradate va dura de la 8h, aceasta este o mulțime, dar nu fatală; pe 4Tb ar fi 16h. Există un procesor lent, un mic RAM, mai multe porturi USB, o rețea gigabit, un mecanism complet nou, porturi libere ale controlerului, compartimente libere din carcasă și o rezervă de energie electrică. În bugetul pentru hardware, ne vom ocupa de software.
Selecția software-ului
În ultima secțiune am arătat robustețea ZFS pentru coruperea discurilor. Cu toate că ZFS nu a fost conceput în mod specific pentru a tolera corupțiile de memorie, am dori totuși să știm cum reacționează ZFS la coruperea memoriei, adică Fie că poate fi detectat și recuperat de la un singur flip în blocurile de date și metadate. Experimentele noastre de injectare a erorilor indică faptul că ZFS nu are precauții pentru coruperea memoriei: blocurile de date proaste sunt returnate utilizatorului sau scrise pe disc, operațiile sistemului de fișiere eșuează și de multe ori întregul sistem se blochează.
Wow, cum respingeți întreaga matrice pentru o grămadă de TBC din cauza unei erori RAM? Nu, mulțumesc, suntem urmașii lui Krepsondo, vedem astfel de variante în avans și prin. Noul bug de memorie cu ECC RAM și o nouă placă de bază a serverului (și în același timp: procesor, răcire, caz, sursă de alimentare etc.) din bugetul nostru nu va fi de ajuns. Prin urmare, fără regrete inutile, am pus deoparte ZFS. Tehnologie bună, dar fără hardware server - o bombă cu ceas.
Concluzie: dacă alegeți designul industrial în stilul casetei la cheie, atunci este FreeNAS; dacă colectați pe gunoi vechi, atunci acesta nu este ZFS; rămâne UFS în cadrul GEOM. Singura problemă este că FreeNAS, chiar și cu UFS, recomandă un minim de 2 GB de memorie RAM, ceea ce nu avem. Acesta este un risc, dar volumul de muncă va fi foarte mic.
Un pic de istorie
RAID5 sau nu RAID5
Alegerea finală: matrice demontabilă
Deci, refuz atât hardware RAID (scump), cât și din ZFS (scump) și din software RAID5 (lent și nesigur). Am ales FreeNAS cu volume UFS bazate pe tehnologiile GEOM: simplu, fiabil și, dacă este necesar, reparați ca o pușcă de asalt Kalashnikov. Este necesar.
Adăugăm o unitate flash USB pentru a încărca sistemul - discurile cu ax sunt complet dedicate datelor. Nu vrem ca cineva să fi scos din greșeală unitatea flash bootabilă, deci alegeți o unitate flash de buget cu cele mai mici dimensiuni (după cum sa dovedit mai târziu, a fost o decizie falsă și nepotrivită).
Dintre opțiunile Stripe și Mirror, eu aleg, desigur, Mirror (adică RAID1). Sistemul disk rezultat rezultă ca un set de mai multe volume independente de oglindă. Fiecare oglindă este asamblată dintr-o pereche de unități 2TB (limitator de comandă), inițializată și montată independent. Valoarea maximă a datelor online stocate pe zece discuri va fi de aproximativ 10TB în cinci volume independente (mai precis, 9TiB).
Cu toate că un astfel de design și poate părea un pic ciudat, dar este într-adevăr justificată atunci când volumul de date și numărul de discuri, altfel ne-ar fi turnat monolit cu reconstrucție timp transcendent în caz de eșec.
Arunca într-un bar mic: pentru că unitățile de consum ieftine folosite au la crearea de volume de volum redus în mod artificial, atunci nu avea probleme cu înlocuirea drive-uri eșuate cu altele noi (plutesc în jurul valorii de capacitate de 2TB). Lasati in cele din urma "cozile" tehnologice pentru un somn mai bun.
Cu privire la capacitatea de încărcare a unui autovehicul încărcat cu casete de flux
Din punctul de vedere al stocării în arhivă, nu este nevoie să fie supărat capacitatea: matricea este dezmembrată. După ce a epuizat cantitatea disponibilă de date stocate pe server în volume No.No.1-5 on-line, putem comuta manual de pe cea mai veche este №1, scoateți-l conduce, instalați două noi unități de 2TB și inițializa un nou volum №6. Dischetele mai vechi pot fi apoi construite în USB și se conectează la cerere la același server FreeNAS, fără a dezasambla întregul corp. Le puteți monta numai pentru citire. Cu o dorință puternică, o puteți conecta atât la Windows, cât și la Mac. În orice caz, amintiți-vă: discul vechi al arborelui este cel mai bine să nu se scuture pe puțuri, iar apoi din vârstă, nisipul magnetic din blocul ermetic va fi turnat.
Există un scenariu interesant cu unionfs. volumele umplete sunt introduse în modul de citire și plasate "în jos" sub sistemul de fișiere al volumului "superior", atunci va exista o iluzie de continuitate a spațiului pe disc. Adevărat, unionfs - o bucată de abstruse și, prin urmare, periculoasă, iar versiunea cu citire, probabil singura mai mult sau mai puțin obkatanny.
Totul, volumele stocării arhivei sunt acum limitate de volumul dulapului sau al carcasei, unde vechile discuri sunt stivuite. Dacă acest caz este, de asemenea, mutat în spațiu, atunci lățimea de bandă în general va scala.
Hull Engineering
Să ne gândim puțin la răcirea primară, pentru că drive-urile noastre la 7200 rpm vor fi călduțe. Am găsit un loc în carcasă pentru suflare compartimente de 3,5 „, cu dificultate aproape chirurgicale de adaptare la ventilator nostru Zalman ZM-F1-FDB pe elasticelor antivibratie, care cont pentru a trage degetele prin fanta subțire a carcasei. La naiba, aceste clădiri de consum cu culoarele și golurile ...
Mi-am amintit vechea comedie.
Soldierul este întrebat: "De ce vedeți atât de rău?". El răspunde: "Ei bine, există o operație de ochi, dar se face prin anus, și nu voi lăsa pe nimeni să meargă acolo".
Excentric-verde sticle de plastic de sub apă minerală Karma Case, proeminente din partea din spate a corpului, deja în scopul de namozolil ochii. Prin urmare, dezasamblam răcitorul CNPS5700D-Cu, luați cu noi conducta de aer și mergeți la magazinul pentru cumpărături. Exemplul de o sticlă de apă minerală linie cu diferite branduri, vom vedea un perfect diametre meci de sticle de doi litri de ping Aqua cu rotund parte conductă CNPS5700D-Cu (la o fabrica de turnat sau ce?).
Mulțumim companiei Stuka-School pentru o astfel de coincidență de succes și, după ce am petrecut încă câteva ore cu obiecte ascuțite, primim o parte din conducta de aer cu formă complexă din plastic transparent.
Am introdus în răcitor un nou ventilator ZM-F1-FDB 80mm, lagărele sale hidrodinamice au o resursă comparabilă, dar o minge mai silențioasă. În ultimul moment, desigur, se dovedește că gaura din organism este o jumătate de centimetru mai mare decât este necesar, adăugând astfel o fustă petală de bandă adezivă, care a sugerat ideea de designeri de avioane de luptă izmenyamym cu forța de tracțiune Vectorizare.
Produsul nostru arată într-adevăr ca o duză deflectabilă, dar nu pare atât de punkly.
În cele din urmă, este timpul să ne ocupăm de locul în care nu am reușit să descifrez Marele Plan de Inginerie Chineză acum zece ani. Permiteți-mi să vă reamintesc, vorbim de panoul din spate al conectorilor ATX, care este cuplat cu placa de bază, mai exact, despre imposibilitatea instalării acestuia în acest soclu:
Se pare că rebusul este complet rezolvat prin clește, îndreptați profilul de-a lungul perimetrului, centimetru pe centimetru. Priza va ține perfect găurile pe conectori, iar neuniformitatea va intra în interiorul carcasei și nu ne va deranja cu estetica de inginerie:
Pentru a evita efectul spaghetelor, cablurile SATA sunt legate între ele cu legături, deoarece nu există loc pentru macaroane în cazurile de server. Cablurile sunt marcate cu marcaje de perechi torsadate. Reostatul ventilatorului este fixat pe carcasă pe un picior neocupat pentru placa de bază care este foarte neocupată. Vechile discuri sunt încă în scenă pentru o calibrare mai bună a fluxului de aer, dar în curând vom scăpa de ele.
Din nou, din considerente de eficiență termică, matricea oglinzilor din discuri va fi colectată cel puțin printr-un compartiment, adică astfel încât discurile dintr-o matrice să nu fie vecine în compartimente și să nu se încălzească reciproc. în special în cazul operațiunilor de reconstrucție lungă. Discurile sunt de asemenea marcate, cel puțin cu numărul volumului.
Rămâne doar să porniți alimentarea, să măsurați temperatura și să calibrați reostatele ventilatoarelor sub sarcină.
- Creșterea disproporționată a capacității de stocare a îngropat aproape lucruri testate în timp, cum ar fi RAID5.
- În lupta pentru reconstrucția matricei, se câștigă noi sisteme de fișiere de înaltă tehnologie, dar acestea se pot realiza numai pe hardware scump (datorită memoriei ECC).
- Construirea unui server pe gunoi a fost și rămâne un risc; într-o astfel de situație, simplitatea rațională, care se învecinează cu un primitiv (ca o serie de oglinzi pliabile), câștigă.
- Archaic fier - tehnologie de epocă, dar într-un nou ambalaj "promidizier".
A continua
Citiți următoarele părți: despre experiența de funcționare reală, eșecuri, următoarea rundă de inginerie a corpului și alte reglaje ale sistemului.
End-to-end Integritate de date pentru sisteme de fișiere: Un studiu de caz ZFS de Yupu Zhang,
Abhishek Rajimwale, Andrea C. Arpaci-Dusseau, Remzi H. Arpaci-Dusseau (Computer
Departamentul de Științe, Universitatea din Wisconsin-Madison)
Articole similare
Trimiteți-le prietenilor: