Calculul de înaltă performanță câștigă din ce în ce mai mult lumea. Ele sunt optimizate pentru sarcini, se schimbă și devin propria lume unică. Vom lua în considerare mai multe soluții care aparțin acestei lumi.
Principala aplicație a supercomputerelor este calculul modelelor matematice de diferite modele, fenomene, procese și așa mai departe. Determinarea necesității unor astfel de calcule nu este prerogativa noastră. Dar vă putem ajuta în determinarea arhitecturii și compoziției supercomputerului necesar pentru scopurile dvs.
Soluțiile pot fi pentru calcule simple de inginerie, precum și pentru cercetarea științifică de bază utilizând ochiuri care măsoară sute de milioane de celule. Soluțiile noastre sunt testate la locul de muncă în universități, întreprinderi și institute de conducere industriale și academice.
Soluții bazate pe sisteme SMP de înaltă performanță din familia x86 / x64
Soluția de bază este un server cu numărul de miezuri de procesare de la 64 de bucăți și cantitatea de memorie RAM de la 128 GB. Interfețele de rețea pot fi diferite: 1 Gigabit Ethernet, 10 Gigabit Ethernet, Infiniband QDR sau FDR. Baza este interfața Ethernet de 10 Gigabit datorită versatilității și performanței sale. Astfel de soluții sunt foarte solicitate în calcularea modelelor mari în cercetarea fundamentală.
Soluții bazate pe grupuri ale căror noduri de calcul comunică între ele prin MPI
Această soluție este utilizată în mod obișnuit. Dar nici soluțiile standard nu prezintă periodic rezultatele așteptate. Acest lucru se întâmplă numai pentru că interpreții nu înțeleg cerințele sarcinilor care trebuie rezolvate și nu optimizează în mod eficient supercomputerul pentru aceste sarcini.
Configurațiile nodurilor de calcul variază de la două soclu la opt socket, construite pe baza procesoarelor familiei x86 / x64 Intel Xeon sau AMD Opteron. Dimensiunea memoriei RAM de la 1 GB la 16 GB pe miez fizic. Interconectarea este oferită de Infiniband, dar pentru o anumită clasă de sarcini, folosirea a 10 Gigabit Ethernet oferă o eficiență mai mare.
Scalarea acestei soluții vă permite să creați supercomputere cu performanțe de vârf până la mai multe PFlops.
Pentru a spori performanța nodurilor de calcul, se folosesc diferiți acceleratori. Există mai multe tipuri de acceleratoare. Principalele sunt acceleratoarele bazate pe procesoare de flux și pe baza porților logice reprogramabile.
Un reprezentant tipic al acceleratoarelor de streaming sunt AMD FireStream, nVidia Fermi, Intel Xeon Phi. Acceleratoarele de date sunt de obicei implementate sub forma unei plăci de extensie cu o interfață PCI-e. Performanța acceleratorilor menționați mai sus este în prezent de aproximativ 1 TFlops în operațiuni de precizie dublă.
Orice supercomputer are mai multe rețele. Puțin poate face cu doi sau trei. De obicei, mari folosesc până la trei până la cinci rețele. Cele mai utilizate rețele sunt Infiniband și Ethernet. De asemenea, pentru anumite supercomputere, rețelele specializate sunt folosite cu organizarea unui torus 2D, a unui torus 3D, ... nd-torus. Toate aceste rețele au lărgime de bandă la orice încărcare și au întârzierea minimă în transferul de date.
Orice supercomputer are propriul său sistem de stocare. Rareori, când un sistem mare de stocare servește mai multe supercomputere. Dar același lucru este posibil. O trăsătură distinctivă a sistemului de stocare pentru supercalculatoare este de mare tranziteaza IO, latență redusă, capacitatea de a oferi acces concurent la un singur fișier, un număr mare de noduri (în supercomputere mari la zeci de mii de noduri), fiabilitate, toleranță la erori, etc.
Se întâmplă că pentru supercomputerele mici există suficient spațiu de stocare obișnuit fără un sistem de fișiere paralel. Prin urmare, alegerea oricărui sistem de stocare se bazează, în primul rând, pe nevoile sarcinii la îndemână.
Paralel stocare sistem de fișiere
Dar acest lucru nu limitează posibilitatea utilizării tehnologiilor închise. Sunt cunoscute astfel de sisteme de fișiere: GPFS, Luster, OneFS, PanFS, StorNext, ExaData. Fiecare astfel de sistem de fișiere are capabilități unice și este de neînlocuit pentru o anumită gamă de sarcini. De exemplu, pentru procesarea media, ExaData și StorNext sunt cele mai potrivite. Pentru lucrul cu supercomputerele GPFS, Luster și PanFS. Cu toate acestea, trebuie remarcat faptul că PanFS funcționează numai pe sistemele de stocare Panasas și, prin urmare, poate fi utilizat numai împreună cu echipamentul specificat.
Un alt criteriu distinctiv poate fi localizarea sistemului de fișiere. OneFS și PanFS sunt instalate în sistemele de stocare. GPFS, Luster, StorNext, ExaData sunt instalate pe servere dedicate. Propunem să acordăm atenție următoarelor sisteme de fișiere paralele:
Sistemul de fișiere de rețea (NFS) - protocolul pentru accesul în rețea la sistemele de fișiere. NFS este extras din tipurile de sisteme de fișiere ale serverului și ale clientului, există multe implementări ale serverelor și clienților NFS pentru diferite sisteme de operare și arhitecturi hardware. O parte integrantă a NFS v.4.1. este NFS paralel pNFS, mecanismul de acces paralel NFS la datele unui set de servere NFS distribuite. Prezența unui astfel de mecanism în sistemul standard de fișiere de rețea va ajuta la construirea sistemelor distribuite de stocare "cloud" și a sistemelor informatice.
Sistemul de fișiere GPFS paralel este dezvoltat și dezvoltat de IBM. IBM General Parallel File System (GPFS) - un sistem de fișiere de înaltă performanță, cu acces multiplu la discuri, care oferă acces rapid la toate componentele unui cluster omogen sau heterogen de servere IBM UNIX care rulează AIX 5L sau un sistem de operare Linux.
Luster este un sistem de fișiere distribuit de paralelism de masă, folosit de obicei pentru computerele la scară largă. Numele Luster este o contaminare formată din cuvintele Linux și cluster. Implementat sub licența GNU GPL, proiectul oferă un sistem de fișiere de înaltă performanță pentru clustere cu zeci de mii de noduri de rețea și magazine de informații petabyte.
Arhitectura de stocare cu sistem de fișiere paralel
Soluția de bază este disponibilitatea sistemelor de stocare cu acces blocat și grupurile de servere conectate la acestea, pe care se execută codul sistemului de fișiere paralel. Acest grup, la rândul său, este împărțit în servere de fișiere și servere de metadate. Serverele de fișiere plasează direct date pe spațiul disponibil pe disc și oferă acces rapid la acestea. În același timp, serverele care consumă aceste date nu știu la ce server de fișiere trebuie preluate aceste date. Prin urmare, cererea primară merge la serverul de metadate și specifică deja de la ce server de fișiere să se ia o parte a fișierului solicitat.
O altă soluție este soluția NetApp. Modul de clustere DataONTAP funcționează pe fiecare controler de stocare și formează un singur sistem de stocare peer-to-peer de la acești controlori. O cerere care vine de la orice controler este procesată de acest controler și cere date lipsă de la vecinii săi. Prin urmare, nu este nevoie să instalați servere dedicate de metadate.
Proiectul Apache ™ Hadoop® se dezvoltă cu o sursă deschisă pentru calculatoare fiabile, scalabile și distribuite.
Biblioteca de software Apache Hadoop este fundația care implementează procesarea distribuită a seturilor de date mari prin intermediul clusterelor de calculatoare utilizând un model simplu de programare. Acesta este conceput pentru a scala de la un server la o mie, în care fiecare server acționează ca un calculator local și simultan un sistem de stocare.
Proiectul Hadoop folosește paradigma computatională MapReduce. Hadoop MapReduce este baza pentru programarea și executarea computerelor distribuite în cadrul paradigmei MapReduce, precum și un set de clase Java și utilitare executabile pentru crearea de sarcini batch pentru procesarea MapReduce. Împreună se completează reciproc.
dezvoltator de aplicații care trebuie să pună în aplicare handler de bază pentru Hadoop MapReduce, care pe fiecare nod de calcul în cluster va oferi conversia de perechi inițiale „cheie-valoare“ la setul intermediar de perechi „cheie-valoare“ (o clasă care implementează Mapper interfață, numit mai mari funcții ordine Map), și un handler care reduce setul intermediar de perechi la setul final, abreviat (convoluție, clasa care implementează interfața Reducer). Frame transmite de intrare concluzii sortate ori de manipulare de bază, amestecarea este format din trei faze - amestecare (shuffle, secțiunea de ieșire dorită de selecție), sortare (sortare, grupare de constatări cheie de la distribuitori - dosortirovka necesară în cazul în care diferitele manipulatorii atomice întoarce seturi cu aceeași cheie, regula de sortare în această etapă poate fi definită programatic și utilizarea oricărei structuri interioare special de chei) și de fapt, reducerea (trunchia) - primirea setului de rezultate. Pentru anumite tipuri de prelucrare convoluție nu este necesară, și returnează Hadoop MapReduce, în acest caz, setul de perechi sortate, stivuitoare de bază derivate.
Dar, după cum a arătat practica, nu pentru toate aceste sarcini este Hadoop eficient în forma sa originală. Mai flexibilă și mai eficientă a fost arhitectura, unde cotele de disc sunt amplasate pe un disc de stocare a discurilor rezistente la erori de înaltă performanță, iar nodurile de calcul sunt conectate direct la spațiul de stocare. Astfel, avem o structură universală și flexibilă în care fiecare componentă logică completă a arhitecturii este independentă de celelalte. Experiența implementării sale a demonstrat eficacitatea utilizării unei astfel de soluții.
NetApp® E-series este un sistem de stocare de înaltă performanță care îndeplinește cele mai înalte cerințe ale companiei pentru performanță și stocare, fără a sacrifica simplitatea și eficiența. Sistemele echilibrate care îndeplinesc o varietate de cerințe diferite sunt concepute astfel încât sistemele de fișiere de înaltă performanță care necesită o viteză mare de aplicare a aplicațiilor și sarcini de lucru pentru o varietate de operații sunt la fel de bine susținute. Abilitatea de a folosi rafturi de disc diferite în sistemele din seria E permite crearea de configurații speciale adaptabile pentru orice mediu.
DataONTAP este sistemul de operare al sistemelor de stocare NetApp. Are mai multe soiuri: Modul de date DataTAPAP 7, Modul de clustere DataONTAP, Seria V de date DataTTAP Seven Mode.
Cele mai populare pentru supercomputere este DataConnect Cluster Mode. Modul progenitor DataConnect Cluster a fost o ramură separată DataONTAP GX (ultima versiune 10). Dar, deoarece versiunea 8, DataONTAP are o singură numerotare a versiunii și un singur cod de bază cu Seven Mode și V-series.
Pe lângă oferirea de oportunități de acces paralel la date. DataONTAP Modul Cluster permite stocarea multiplă a NetApp, în Vol. H. Diferitele modele și modele într-un singur sistem de stocare cu un singur sistem de gestionare și o singură unitate, ambele situate pe discuri ale tuturor controlorilor. Astfel, este posibilă creșterea performanței tuturor părților dintr-un singur sistem de stocare a datelor. Accesul paralel este furnizat prin protocolul NFS v.4.1. Protocoalele CIFS, iSCSI, FibreChanel sunt, de asemenea, acceptate.
NetApp intenționează să îmbine cele două ramuri ale modului Seven Mode și Cluster într-unul singur în viitorul apropiat, cu sprijin pentru ambele.
Luster este un sistem de fișiere distribuit de paralelism de masă, folosit de obicei pentru computerele la scară largă. Numele Luster este o contaminare formată din cuvintele Linux și cluster. Implementat sub licența GNU GPL, proiectul oferă un sistem de fișiere de înaltă performanță pentru clustere cu zeci de mii de noduri de rețea și magazine de informații petabyte.
Bayandin E.A. Director pentru suport tehnic și suport al SRL "S 7 Travel Retail"
"Pentru a se adapta serviciilor noastre, am analizat o mulțime de furnizori de servicii, drept urmare, compania IT-GRAD a fost aleasă. Pentru început, am mutat mediul de testare, acum plasăm o parte din produs. În perioada de cooperare, IT GRAD a demonstrat o abordare responsabilă și competentă în îndeplinirea sarcinilor care le-au fost atribuite. "
Merkudanov N.A. Adjunct. Director General al LLC "Business Solution"
"În etapa de alegere a furnizorului, am supus IT-GRAD unui control cuprinzător atât din punct de vedere tehnic, cât și din punct de vedere organizațional. În procesul de "IT GRAD" sa dovedit a fi cel mai bun și rămâne partenerul nostru de încredere de aproape doi ani. "
Răspunsul șefului departamentului informatic-analitic al ROC V. Kipshidze
"Ne exprimăm recunoștința și recunoștința sinceră pentru IT GRAD SRL și în mod personal pentru directorul general Gachko D.V. pentru sprijinul acordat proiectului de internet ortodox Prihod.ru, partener de încredere al Bisericii Ortodoxe Ruse în domeniul tehnologiilor media și Internet. "
Recunoașterea lui Alexey Domanikov, șef adjunct al departamentului de automatizare, OOO "Mizar"
"Ne-am confruntat cu problema eliminării poștei din volume mari de virusuri și spam. IT-GRAD ne-a furnizat un server virtual și numărul necesar de licențe Spam Titan, care corespunde nevoilor actuale ale companiei. "
Venediktova R.E. Director General al Prometey LLC
"De mai mult de doi ani, această companie ne oferă servicii pentru organizarea unei infrastructuri virtuale bazate pe tehnologia VMware. Activitatea noastră este de servicii de telecomunicații, facturarea acestora fiind una dintre cele mai importante sarcini de afaceri ale companiei "Prometey". Datorită soluțiilor tehnice ale IT GRAD, facturarea serviciilor noastre este oferită la cel mai înalt nivel. "
Andrey Okhrimenko, Director IT al magazinului online "Boutique.ru"
"În prezent, am refuzat 30 de stații de lucru și am transferat clienții către desktop-uri virtuale bazate pe soluția VMware View implementată în cloud-ul public" IT-GRAD ". Infrastructura stațiilor de lucru este adusă la forma standard, care facilitează sprijinul, reduce timpul de răspuns la incidente și facilitează procesul de intrare / ieșire a noilor locuri de muncă pentru angajați. "
Directorul general al OOO "Kit"
Ivaschenko Elena Valentinovna, director general adjunct al Mosregionvent LLC
"De 2 ani am colaborat cu succes cu IT GRAD. Am inchiriat configuratii 1C: Contabilitate 8.2 si 1C: Managementul Comertului 8.2. Aceste configurații au fost finalizate de experții tehnici ai IT-GRAD în conformitate cu dorințele noastre, pentru care ne exprimăm recunoștința noastră specială. "
Karpukhin Vyacheslav, Director pentru Tehnologii Informaționale, SRL "Grupul ARMAX"
"Pe baza infrastructurii alocate, au fost create două servere virtuale: un server terminal + server 1C și un server de bază de date. Această abordare a organizării IT ne-a permis să oferim o infrastructură de calitate pentru contabili și să evităm costurile de capital ".
Shevchenko Marina Sergeevna, Director al LLC "Avocatul" (outsourcingul contabil)
"În serviciul" cloud "de la" IT-GRAD "atrage securitatea datelor. Puteți fi sigur că numai software-ul licențiat și spațiul protejat vor fi utilizate. "
Boris Gradinger, directorul IT al ESET
"Am fost mulțumiți de calitatea serviciilor oferite de IT GRAD. Putem observa calitatea suportului tehnic și dorința de a furniza cu promptitudine toate consultările necesare. Suntem gata să recomandăm închirierea mașinilor virtuale "IT GRAD" ca o soluție flexibilă, care permite evitarea cheltuielilor semnificative pentru construirea infrastructurii noastre ".
Pavel Vlasov, Director, Servicii de informare în domeniul locuințelor și al serviciilor comunale
"În timpul lucrului cu echipa IT-GRAD, se evidențiază următoarele avantaje ale serviciilor utilizate: disponibilitatea, prețul, flexibilitatea și puterea platformei VMware în sine. Este convenabil să actualizăm sistemele noastre, fie în prealabil, făcând o copie de rezervă completă a mașinii virtuale, fie instantaneu cu posibilitatea unei răsturnări foarte rapide.
Clubul de livrare: cum ajută norul IaaS în organizarea serviciului de livrare a produselor alimentare
PickPoint: - Prima rețea de postemați din Rusia: 5 ani în norul IaaS
IaaS în comerțul cu amănuntul: experiența lanțului magazinelor lanțului Hamleys
FitnessBar.ru: IaaS pentru cea mai mare rețea de magazine și accesorii pentru hrana sportivă
Primul BIT: utilizarea IaaS ca furnizor de cloud pentru furnizarea unui serviciu SaaS
ODM: Tehnologia vorbirii din norul furnizorului IaaS
Prihod.ru: experiența utilizării norului IaaS ca cel mai mare proiect de internet ortodox din Rusia
Articole similare
Trimiteți-le prietenilor: