Mūsu klienti pēdējā laikā aizvien aktīvāk būvē darba stacijas AI modeļu ģenerēšanai un testēšanai. Parastie galda datori, kas aprīkoti ar NVIDIA vai AMD videokartēm ir viens iespējamais risinājums, bet galvenais ierobežojums ir uz videokartes izvietotais operatīvās atmiņas GDDR apjoms. Pat šobrīd jaudīgākajām RTX 5090 spēļu videokartēm tas ir 32GB, kas neļauj uz tām darbināt populārākos opensource AI modeļus.
Pirms nedēļas saņēmām no klienta pasūtījumu daudz nopietnākam risinājumam – darba stacija jāaprīko ar divām RTX PRO 6000 Blackwell Workstation Edition kartēm, un pārējai datora konfigurācijai jābūt atbilstošai un spējīgai “piebarot” šīs kartes ar datiem.
Šī videokarte ir aprīkota 96 GB GDDR7 ECC atmiņu. Sistēmai ir divas videokartes, tāpēc kopā fiziski pieejami 192 GB GDDR7 atmiņas. To papildina 24 kodolu AMD Ryzen Threadripper 9960X procesors, 256 GB DDR5 ECC operatīvās atmiņas, 8 TB NVMe kopējais disku apjoms un 2500 W 80 PLUS Platinum barošanas bloks.
Kāpēc vajadzīgas divas tik jaudīgas kartes? Lielos AI un 3D projektos robežu bieži nosaka nevis vēlme darbu pabeigt dažas sekundes ātrāk, bet tas, vai modelis, datu kopa vai aina vispār ietilpst pieejamajā ātrgaitas GDDR7 atmiņas daudzumā.
Divas RTX PRO 6000 maina iespēju robežas
PNY RTX PRO 6000 Blackwell Workstation Edition ir profesionālās klases GPU ar 24064 CUDA kodoliem, piektās paaudzes Tensor kodoliem un 96 GB GDDR7 ECC atmiņas. Atmiņas joslas platums sasniedz 1792 GB/s, bet vienas kartes maksimālais patēriņš ir 600 W.
Ar divām kartēm iespējams vienlaikus darbināt vairākus, vienus no otra neatkarīgus AI servisus vai sadalīt vienu lielu darbu starp abām grafikas kartēm. Piemēram, viena karte var strādāt ar valodas modeli, kamēr otra ģenerē attēlus, renderē vai tiek izmantota izstrādes procesiem. 
Tomēr 2 × 96 GB automātiski nenozīmē vienu kopīgu 192 GB VRAM baseinu. Programmatūrai ir jāprot sadalīt modeli, ainu vai aprēķinus starp abām kartēm. AI vidē tiek izmantoti tensora vai konveijera paralēlismu, bet renderu darbos nepieciešams vairāku GPU atbalsts. Ja kāda no aplikācijām izmanto tikai vienu karti, darba procesiem joprojām būs pieejami 96 GB.
Papildu elastību sniedz MIG atbalsts, katru RTX PRO 6000 iespējams sadalīt vairākās izolētās GPU instancēs, piemēram, četrās 24 GB vai divās 48 GB daļās. Tas ļauj vienu fizisku karti droši sadalīt starp vairākiem AI servisiem vai izstrādes komandām, katram uzdevumam piešķirot savu resursu daudzumu.
Platforma, kas paredzēta vairākiem GPU
Divas šādas videokartes nevar vienkārši ievietot tipiskā “gaming” datorā. Nepieciešami pareizi izvietoti PCIe sloti, pietiekams PCIe līniju skaits, ECC atmiņas atbalsts un stabila barošanas sistēma.
Talkā nāk ASUS Pro WS TRX50-SAGE WIFI A sistēmplate, kura piedāvā trīs PCIe 5.0 x16 slotus, papildu PCIe 4.0 x16 slotu, līdz 1 TB ECC RDIMM atmiņas, kā arī 10 Gb/s un 2,5 Gb/s Ethernet tīkla savienojumus. Ātrais tīkla savienojums ir īpaši noderīgs, pārvietojot lielus modeļus, datu kopas un projektu failus. Plate ir paredzēta ilgstošām profesionālām slodzēm un atbalsta arī ASUS IPMI paplašinājuma karti, ar to iespējams attālināti uzraudzīt un pārvaldīt arī situācijās, kad operētājsistēma vairs neatbild.
Sistēmas centrā ir AMD Ryzen Threadripper 9960X ar 24 kodoliem un 48 pavedieniem. Kamēr GPU veic aprēķinus, procesors sagatavo datus, veic tokenizāciju, apkalpo API pieprasījumus un darbina pārējos servisus. ASUS mātesplate atbalsta arī PRO modeļus, taču konkrētajā datorā izmantots standarta Threadripper 9960X.
256 GB ECC atmiņas
Darbstacijā uzstādīti četri 64 GB Micron DDR5-5600 ECC RDIMM moduļi. Šajā komplektācijā tiek izmantoti visi četri Threadripper atmiņas kanāli, nodrošinot gan lielu ietilpību, gan augstu datu caurlaidību.
ECC atmiņa īpaši atšķiras ar to, ka spēj atklāt un izlabot viena bita kļūdas. Profesionālā sistēmā, kas stundām vai dienām veic aprēķinus, šāda tipa datu labošana ir vērtīga. RDIMM moduļi kā tādi uzlabo signāla stabilitāti un ir piemēroti lielām atmiņas ietilpībām.
RAM’s nepieciešams datu sagatavošanai, virtuālajām mašīnām, datubāzēm un 3D ainām. Tāpēc 192 GB GPU atmiņas un 256 GB sistēmas RAM nav konkurējoši resursi – tie papildina viens otru.
Jauda un dzesēšana ilgstošam darbam
Abas videokartes pilnā slodzē var patērēt līdz pat 1200 W, bet Threadripper 9960X TDP līdz 350 W. FSP Cannon Pro 2500 W barošanas bloks ar ATX 3.1, PCIe 5.1 un 80 PLUS 230V EU Platinum efektivitāti nodrošina nepieciešamo rezervi arī īslaicīgiem patēriņa lēcieniem, proti, tas nenozīmē, ka dators visu laiku patērēs 2,5 kW. Tas nozīmē, ka barošanas blokam nav jāstrādā pie savu iespēju robežas.
Procesoru dzesē Noctua NH-U14S TR5-SP6 dzesētājs, kura pamatne veidota tieši lielajai sTR5 procesora virsmai. Fractal Design Epoch XL korpuss nodrošina vietu abām GPU un brīvai gaisa kustībai, savukārt trīs Arctic P12 Pro PST ventilatori palīdz izvadīt siltumu ilgstošā slodzē.
8 TB vietas modeļiem un projektiem
Sistēmā ir divi 2 TB un viens 4 TB Samsung 990 PRO NVMe Gen4 SSD diski – kopā 8 TB. Vienu disku iespējams izmantot operētājsistēmai, otru aktīvajiem projektiem un trešo, lielāko – modeļiem un datu kopām. Faktiskais sadalījums, protams, atkarīgs no katra klienta personīgās darba plūsmas.
Komplektēšana un testēšana nav formalitāte
Divu RTX PRO 6000 uzstādīšanā jādomā ne tikai par brīviem PCIe slotiem. Jāpārbauda atstarpe starp kartēm, 12V-2×6 kabeļu liekums un tas, vai vadi netraucē ventilatoriem. Šādā sistēmā rūpīgs kabeļu izvietojums tieši ietekmē dzesēšanu.
Pēc pirmās ieslēgšanas pārliecinājāmies, ka BIOS redz visus 256 GB RAM un NVMe diskus, bet NVIDIA draiveris – abas GPU. Pēc tam procesoru, atmiņu un katru karti testējām atsevišķi, kā arī veicām abu GPU vienlaicīgu ilgstošu slodzes testu. Temperatūras, frekvences un elektrības patēriņš tiek vērtēts stundās, nevis tikai īsā veiktspējas testā. Tikai pēc šādas pārbaudes darbstaciju varam droši nodot ilgstošam darbam profesionālā vidē.
Ko šāda darbstacija spēj?
AI vidē šo darbstaciju var izmantot lielu valodas modeļu darbināšanai un pielāgošanai ar LoRA vai QLoRA metodēm, kā arī attēlu, video un citu ģeneratīvā AI risinājumu izstrādei. Ja programmatūra prot sadalīt modeli starp abām GPU, iespējams strādāt arī ar risinājumiem, kuri vienā 96 GB kartē neietilptu.
3D vidē abas kartes var izmantot Blender, V-Ray, Octane vai Redshift, ja izvēlētais renderētājs atbalsta vairāku GPU darbu. Sistēma ir piemērota arī CAD, simulācijām, zinātniskajiem CUDA aprēķiniem, 4K un 8K video apstrādei un AI upscaling.
Otrā GPU pati par sevi negarantē divreiz lielāku ātrumu. Ieguvumu nosaka konkrētā programma un tas, cik efektīvi uzdevums tiek sadalīts. Taču vairāku GPU darbam veidotos projektos šī konfigurācija piedāvā iespējas, kuras vienas kartes sistēmai nav pieejamas.
Profesionāls rīks konkrētam darbam
Šo datoru nevar novērtēt pēc spēļu FPS vai viena īsa testa. Tas ir veidots, lai ilgstoši apstrādātu lielus AI modeļus, renderētu sarežģītas ainas un veiktu smagus profesionālus aprēķinus.
Divas RTX PRO 6000 Blackwell nodrošina milzīgu GPU jaudu un kopā 192 GB atmiņas, taču rezultātu veido visa platforma – Threadripper PCIe iespējas, 256 GB ECC RAM, 2500 W barošanas bloks, pārdomāta dzesēšana un programmatūra, kas prot abas kartes izmantot. Šādā sistēmā katrai detaļai ir konkrēts darbs.
Mēs esam priecīgi, ka klients izvēlējās Dateks.lv kā partneri šīs darba stacijas būvēšanā – šis tiešām bijā ļoti interesants un izaicinošs projekts.