Ce este calculul de înaltă performanță (HPC)?

Unele fluxuri de lucru, cum ar fi secvențierea ADN-ului, sunt pur și simplu prea mari pentru ca un computer să le poată procesa, indiferent de capacitatea acestuia. HPC sau mediile de supercomputere abordează aceste provocări solicitante și complexe, cu noduri individuale (computere) care lucrează împreună într-un cluster (grup conectat) pentru a efectua un volum masiv de calcule într-o perioadă scurtă de timp. Crearea și eliminarea acestor clustere este adesea automatizată în cloud, pentru a reduce costurile.

HPC poate fi rulat pentru mai multe tipuri de sarcini de lucru, dar cele mai frecvente sunt sarcinile de lucru paralel jenante și sarcinile de lucru în strânsă conexiune.

Fluxurile de lucru paralele și incomode

Fluxurile de lucru paralele și incomode sunt probleme de calcul divizate în activități mici, simple și independente, care pot fi rulate în același timp, adesea cu o comunicare mică sau inexistentă între ele. De exemplu, o companie ar putea trimite 100 de milioane de înregistrări ale cardurilor de credit către nucleele procesorului individual într-un grup de noduri. Prelucrarea înregistrării unui card de credit este o sarcină mică și, atunci când 100 de milioane de înregistrări sunt răspândite în cluster, acele sarcini mici pot fi efectuate în același timp (în paralel), la viteze uimitoare. Cazurile de utilizare obișnuite includ simulări de risc, modelare moleculară, căutare contextuală și simulări logistice.

Fluxurile de lucru în strânsă conexiune

De obicei, un flux de lucru partajat de mari dimensiuni este împărțit în sarcini mai mici, care comunică permanent. Cu alte cuvinte, diferitele noduri din cluster comunică între ele pe măsură ce se realizează procesarea. Cazurile de utilizare obișnuite includ dinamica calculată a fluidelor, modelarea prognozei meteo, simulări de materiale, emulații de coliziune auto, simulări geospațiale și managementul traficului.

De ce este important un sistem HPC?

HPC reprezintă, de zeci de ani, o parte esențială a cercetării academice și a inovației din domeniu. HPC îi ajută pe ingineri, cercetători de date, designeri și alți cercetători să rezolve probleme mari și complexe în mult mai puțin timp și cu costuri mai mici decât cele pe care le presupune metoda de calculul tradițională.

Principalele avantaje ale HPC sunt

• Testare fizică redusă: HPC poate fi utilizat pentru a crea simulări, eliminând necesitatea testelor fizice. De exemplu, atunci când se testează accidente auto, este mult mai ușor și mai puțin costisitor să generezi o simulare decât să faci un test de impact.
• Viteză: Folosind cele mai recente procesoare, unități de procesare grafică (GPU-uri) și structuri de rețea cu latență scăzută, cum ar fi accesul direct la memorie de la distanță (RDMA), împreună cu dispozitive de stocare locală și în bloc, HPC poate efectua calcule uriașe în doar câteva minute, nu în săptămâni sau luni întregi.
• Costuri: Răspunsurile mai rapide înseamnă mai puțin timp pierdut și costuri mai mici. În plus, cu HPC bazat pe cloud, chiar și întreprinderile mici și startup-urile își pot permite să ruleze sarcini de lucru HPC, plătind doar ceea ce folosesc și prin scalarea ascendentă și descendentă, după cum este necesar.
• Inovație: HPC stimulează inovația în aproape fiecare domeniu – este forța din spatele descoperirilor științifice revoluționare care îmbunătățesc calitatea vieții pentru oamenii din întreaga lume.

Companiile Fortune 1000 din aproape toate domeniile utilizează HPC, iar popularitatea sa este în creștere. În conformitate cu Hyperion Research, se preconizează că piața globală a HPC va ajunge la 44 miliarde USD până în 2022.

Vă prezentăm mai jos câteva dintre domeniile care utilizează HPC și tipurile de sarcini de lucru pe care acestea le realizează cu ajutorul HPC:

• Aerospațial: Crearea unor simulări complexe, cum ar fi curentul de aer peste aripile avioanelor
• Producție: Realizarea simulărilor, cum ar fi cele pentru conducerea autonomă, cu scopul de a susține proiectarea, fabricarea și testarea noilor produse, concretizându-se în mașini mai sigure, piese mai ușoare, procese mai eficiente și inovații
• Tehnologie financiară (fintech): Efectuarea de analize complexe de risc, tranzacționare cu frecvență înaltă, modelare financiară și detectarea fraudei
• Genomică: Secvențierea ADN-ului, analizarea interacțiunilor medicamentoase și efectuarea analizelor de proteine pentru a susține studiile genetice
• Sănătate: Cercetarea medicamentelor, crearea de vaccinuri și dezvoltarea de tratamente inovatoare pentru bolile rare și comune
• Media și divertisment: Crearea de animații, realizarea efectelor speciale pentru filme, transcodarea fișierelor media uriașe și crearea unor forme captivante de divertisment
• Petrol si gaze: Efectuarea de analize spațiale și testarea modelelor de rezervoare, pentru a detecta localizarea resurselor de petrol și gaze, și efectuarea de simulări precum fluxul de fluide și procesarea seismică
• Comerț cu amănuntul: Analizarea unor cantități masive de date despre clienți pentru a oferi recomandări de produse mai bine direcționate și servicii mai bune pentru clienți

Unde se realizează HPC?

HPC poate fi efectuat on-premises, în cloud sau într-un model hibrid, care implică anumite părți din fiecare.

În cadrul unei implementări HPC on-premises, o afacere sau o instituție de cercetare construiește un cluster HPC plin de servere, soluții de stocare și alte infrastructuri pe care le gestionează și le actualizează în timp. În cadrul unei implementări HPC în cloud, un furnizor de servicii cloud administrează și gestionează infrastructura, iar organizațiile o utilizează pe modelul pay-as-you-go.

Unele organizații folosesc implementări hibride, în special cele care au investit într-o infrastructură on-premises, dar care doresc, de asemenea, să beneficieze de viteza, flexibilitatea și economiile de cost din cloud. Acestea pot utiliza mediul cloud pentru a rula în mod continuu unele sarcini de lucru HPC și pot apela la servicii cloud în mod inopinat, ori de câte ori timpul de așteptare devine o problemă în mediul on-premises.

Care sunt provocările implementărilor HPC on-premises?

Organizațiile cu medii HPC on-premises beneficiază de control sporit asupra operațiunilor lor, dar trebuie să facă față mai multor provocări, printre care

• Investirea unui capital semnificativ în echipamente de calcul, care trebuie actualizate continuu
• Plată pentru management continuu și alte costuri operaționale
• Suferă o întârziere, sau un timp de coadă, de câteva zile, până la câteva luni, înainte ca utilizatorii să poată rula volumul de lucru HPC, mai ales când crește cererea
• Amânarea actualizărilor la echipamente de calcul mai puternice și mai eficiente datorită ciclurilor lungi de achiziție, ceea ce încetinește ritmul cercetării și al afacerilor

În parte din cauza costurilor și a altor provocări ale mediilor on-premises, implementările HPC bazate pe cloud devin din ce în ce mai populare, Future Research Market anticipând o creștere de 21% a pieței mondiale din 2017 până în 2023. Când companiile își gestionează volumul de lucru HPC în cloud, plătesc doar pentru ceea ce folosesc și își pot extinde sau reduce rapid infrastructura, pe măsură ce nevoile lor se schimbă.

Pentru a câștiga și a păstra clienții, furnizorii de soluții cloud de top mențin tehnologii de vârf, care sunt special concepute pentru sarcinile de lucru HPC, astfel încât nu există pericolul unei performanțe reduse pe măsură ce echipamentele on-premises îmbătrânesc. Furnizorii de cloud oferă cele mai noi și mai rapide procesoare și GPU-uri, precum și stocare flash cu latență redusă, rețele RDMA extrem de rapide și securitate de clasă enterprise. Serviciile sunt disponibile pe parcursul întregii zile, în fiecare zi, cu timp de coadă redus sau deloc.

HPC Cloud – Care sunt criteriile esențiale atunci când alegeți un mediu cloud?

Nu toți furnizorii de cloud sunt la fel. Unele medii cloud nu sunt proiectate pentru HPC și nu pot oferi performanțe optime în perioadele de vârf, cu sarcini de lucru solicitante. Cele patru trăsături de luat în considerare în selectarea unui furnizor de soluții cloud sunt

• Performanță de vârf: Furnizorul dvs. de cloud ar trebui să dețină și să asigure mentenanță pentru ultima generație de procesoare, stocare și tehnologii de rețea. Asigurați-vă că vă oferă o capacitate extinsă și performanțe de top, care corespund sau le depășește pe cele ale implementărilor on-premises tipice.
• Experiență cu HPC: Furnizorul de cloud pe care îl selectați ar trebui să aibă o experiență profundă în executarea sarcinilor de lucru HPC pentru o diversitate de clienți. În plus, serviciile lor în cloud ar trebui să fie proiectate pentru a oferi performanțe optime chiar și în perioadele de vârf, cum ar fi atunci când se realizează mai multe simulări sau modele. În multe cazuri, instanțele de computer bare metal oferă performanțe mai consistente și mai puternice în comparație cu mașinile virtuale.
• Flexibilitate la migrare: Sarcinile dvs. de lucru HPC trebuie să ruleze în cloud la fel ca on-premises. După ce transferați sarcinile de lucru în cloud „așa cum sunt” printr-o operație de transfer, simularea pe care o rulați săptămâna viitoare trebuie să producă un rezultat consecvent cu cel pe care l-ați rulat acum un deceniu. Acest lucru este extrem de important în sectoarele în care comparațiile de la an la an trebuie făcute folosind aceleași date și calcule. De exemplu, metodele de calcul pentru aerodinamică, automobile și chimie nu s-au schimbat și nici rezultatele nu se pot schimba.
• Fără costuri ascunse: Serviciile cloud sunt de obicei oferite pe un model pay-as-you-go, deci asigurați-vă că înțelegeți exact ce veți plăti de fiecare dată când utilizați serviciul. Mulți utilizatori sunt adesea surprinși de costul mișcării de ieșire sau de extragere a datelor – poate știți că trebuie să plătiți pentru fiecare tranzacție și pentru cererile de acces la date, dar costurile de extragere sunt ușor de trecut cu vederea.

Cum arată viitorul HPC?

Companiile și instituțiile din mai multe domenii se orientează către HPC, determinând o creștere care este de așteptat să continue mulți ani de aici încolo. Se preconizează că piața globală a HPC se va extinde de la 31 miliarde USD în 2017 la 50 miliarde USD în 2023. Pe măsură ce performanța cloud continuă să se îmbunătățească și să devină și mai fiabilă, și mai susținută, o mare parte din această creștere va avea loc la nivelul implementărilor HPC bazate pe cloud care scutesc întreprinderile de necesitatea de a investi milioane de dolari în infrastructura centrelor de date și pentru a susține costurile aferente.

În viitorul apropiat, așteptați-vă ca Big Data și HPC să conveargă, fiind utilizat același grup mare de computere pentru a analiza Big Data și a rula simulări și alte sarcini de lucru HPC. Pe măsură ce aceste două tendințe devin convergente, rezultatul va fi mai multă putere și capacitate de calcul pentru fiecare dintre ele, ducând la cercetare și inovație sporite.

i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Actualizare Hyperion Research: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf

ii https://www.abnewswire.com/pressreleases/cloud-hpc-market-growing-swiftly-at-21-cagr-by-2023-cloud-high-performance-computing-market-forecast-by-component-service-deployment-industry-vertical_211149.html

iii https://www.businesswire.com/news/home/20181218005581/en/Global-High-performance-Computing-HPC-Market-2018-2023-Grow