Ar jums reikia mašinos, galinčios pateikti šimtus trilijonų slankiojo kablelio skaičiavimų per sekundę? O gal jums reikia baro istorijos apie tai, kaip jūsų rūsyje esantis superkompiuteris apvertė pertraukiklį? Sukurti savo „High Performance Compute“klasterį, dar vadinamą superkompiuteriu, yra iššūkis bet kuriam ekspertui, savaitgalį laisvo laiko ir šiek tiek sudeginamų pinigų. Techniškai kalbant, modernus kelių procesorių superkompiuteris yra kompiuterių tinklas, dirbantis kartu lygiagrečiai sprendžiant problemą. Šiame straipsnyje bus trumpai aprašytas kiekvienas proceso žingsnis, daugiausia dėmesio skiriant aparatinei ir programinei įrangai.
Žingsniai
1 žingsnis. Pirmiausia nustatykite reikalingus aparatūros komponentus ir išteklius
Jums reikės vieno galvos mazgo, bent keliolikos vienodų skaičiavimo mazgų, eterneto jungiklio, maitinimo paskirstymo įrenginio ir stovo. Nustatykite elektros poreikį, aušinimą ir reikalingą erdvę. Taip pat nuspręskite, kokio IP adreso norite savo privatiems tinklams, kaip pavadinti mazgus, kokius programinės įrangos paketus norite įdiegti ir kokią technologiją norite suteikti lygiagretaus skaičiavimo galimybėms (daugiau apie tai vėliau).
- Nors aparatinė įranga yra brangi, visa šiame vadove išvardyta programinė įranga yra nemokama, o dauguma jų yra atvirojo kodo.
- Jei norite pamatyti, koks jūsų superkompiuterio greitis teoriškai būtų, naudokite šį įrankį:
Žingsnis 2. Sukurkite skaičiavimo mazgus
Turėsite surinkti skaičiavimo mazgus arba įsigyti iš anksto sukurtus serverius.
- Pasirinkite kompiuterio serverio korpusą, kuris maksimaliai padidina erdvę, aušinimą ir energijos vartojimo efektyvumą.
- Arba galite panaudoti keliolika naudotų, pasenusių serverių, kurių visa dalis bus didesnė už jų dalių sumą, tačiau sutaupysite nemažą pinigų sumą. Visi procesoriai, tinklo adapteriai ir pagrindinės plokštės turi būti vienodi, kad visa sistema galėtų gerai žaisti. Žinoma, nepamirškite apie kiekvieno mazgo RAM ir saugyklą bei bent vieną pagrindinio mazgo optinį įrenginį.
Žingsnis 3. Įdiekite serverius į stovą
Pradėkite nuo apačios, kad stovas nebūtų sunkus. Jums reikės draugo, kuris jums padėtų - tankūs serveriai gali būti labai sunkūs ir sunku juos nukreipti į bėgius, laikančius juos į stovą.
4 žingsnis. Įdiekite Ethernet jungiklį virš serverio korpuso
Skirkite šią akimirką, kad sukonfigūruotumėte jungiklį: leiskite 9000 baitų didžiųjų kadrų dydžius, nustatykite IP adresą į statinį adresą, kurį nusprendėte atlikdami 1 veiksmą, ir išjunkite nereikalingus maršrutizavimo protokolus, tokius kaip SMTP šnipinėjimas.
5 žingsnis. Įdiekite PDU (maitinimo paskirstymo įrenginį)
Priklausomai nuo to, kiek srovės jūsų mazgams gali prireikti esant maksimaliai apkrovai, jums gali prireikti 220 voltų, kad būtų galima efektyviai skaičiuoti.
Žingsnis 6. Kai viskas yra įdiegta, galite pradėti konfigūravimo procesą
„Linux“yra faktinė HPC grupių OS - ne tik ideali aplinka moksliniams skaičiavimams, bet ir nieko nekainuoja ją įdiegti šimtuose ar net tūkstančiuose mazgų. Įsivaizduokite, kiek kainuotų įdiegti „Windows“visuose tuose mazguose!
- Pradėkite diegti naujausią pagrindinės plokštės BIOS versiją ir programinę -aparatinę įrangą, kuri visuose mazguose turėtų būti vienoda.
- Įdiekite pageidaujamą „Linux“distribuciją kiekviename mazge su grafine vartotojo sąsaja. Tarp populiarių pasirinkimų yra „CentOS“, „OpenSuse“, „Scientific Linux“, „RedHat“ir SLES.
- Šis autorius labai rekomenduoja naudoti „Rocks Cluster Distribution“. „Rocks“ne tik įdiegia visus įrankius, reikalingus skaičiavimo grupei veikti, bet ir naudoja puikų metodą daugeliui savo egzempliorių labai greitai „paskirstyti“mazgams, naudojant PXE įkrovą ir „Red Hat“„Kick Start“procedūrą.
Žingsnis 7. Įdiekite pranešimų perdavimo sąsają, išteklių tvarkyklę ir kitas reikalingas bibliotekas
Jei ankstesniame žingsnyje neįdiegėte „Rocks“, turėsite rankiniu būdu nustatyti reikiamą programinę įrangą, kad įjungtumėte lygiagretaus skaičiavimo mechanizmus.
- Pirmiausia jums reikės nešiojamos „bash“valdymo sistemos, tokios kaip „Torque Resource Manager“, kuri leidžia suskaidyti ir paskirstyti užduotis kelioms mašinoms.
- Sujunkite sukimo momentą su „Maui Cluster Scheduler“, kad užbaigtumėte sąranką.
- Toliau turėsite įdiegti pranešimų perdavimo sąsają, būtiną tam, kad atskiri skaičiavimo mazgų procesai dalintųsi tais pačiais duomenimis. „OpenMP“yra nesusipratimas.
- Nepamirškite kelių gijų matematikos bibliotekų ir kompiliatorių, kad sukurtumėte lygiagrečias skaičiavimo programas. Ar aš minėjau, kad turėtumėte tiesiog įdiegti „Rocks“?
Žingsnis 8. Sujunkite skaičiavimo mazgus
Pagrindinis mazgas siunčia skaičiavimo užduotis skaičiavimo mazgams, kurie savo ruožtu turi nusiųsti rezultatą atgal, taip pat siunčia pranešimus vienas kitam. Kuo greičiau, tuo geriau.
- Naudokite privatų eterneto tinklą, kad prijungtumėte visus grupės mazgus.
- Pagrindinis mazgas taip pat gali veikti kaip NFS, PXE, DHCP, TFTP ir NTP serveris eterneto tinkle.
- Turite atskirti šį tinklą nuo viešųjų tinklų, kad transliacijos paketai netrukdytų kitiems jūsų LAN tinklams.
Žingsnis 9. Išbandykite grupę
Paskutinis dalykas, kurį galbūt norėsite padaryti prieš išleisdami visą šią skaičiavimo galią savo vartotojams, yra patikrinti jo našumą. HPL (didelio našumo „Lynpack“) etalonas yra populiarus pasirinkimas skaičiuojant klasterio skaičiavimo greitį. Turėsite ją surinkti iš šaltinio ir atlikti visus galimus optimizavimus, kuriuos siūlo kompiliatorius pasirinktai architektūrai.
- Žinoma, turite surinkti iš šaltinio visas galimas savo platformos optimizavimo parinktis. Pavyzdžiui, jei naudojate AMD procesorius, kompiliuokite naudodami „Open64“su –0 greito optimizavimo lygio.
- Palyginkite savo rezultatus svetainėje TOP500.org ir palyginkite savo grupę su greičiausiais 500 superkompiuterių pasaulyje!
Vaizdo įrašas - naudojant šią paslaugą kai kuri informacija gali būti bendrinama su „YouTube“
Patarimai
- Jei norite gauti tikrai didelį tinklo greitį, pažvelkite į „InfiniBand“tinklo sąsajas. Tačiau būkite pasirengę mokėti priemokas.
- IPMI gali palengvinti didelių grupių administravimą, teikdamas KVM per IP, nuotolinio maitinimo ciklus ir dar daugiau.
- Naudokite „Ganglia“, kad stebėtumėte mazgų skaičiavimo apkrovas.
