Iedomājieties spēli, kurā būtu iespējams risināt inteliģentas, neparedzamas un dinamiskas sarunas ar nespēlētāja tēliem (NPC, non-playable characters). Šiem tēliem būtu noturīgas personības, kas laika gaitā mainās, precīzas sejas animācijas un izteiksmes. Un tas viss spēlētāja dzimtajā valodā.
Ģeneratīvā mākslīgā intelekta iespējas to padara par realitāti, un izstādē COMPUTEX 2023 NVIDIA prezentēja jaunu tehnoloģiju – NVIDIA Avatar Cloud Engine (ACE) for Games. NVIDIA ACE for Games ir specializēts mākslīgā intelekta modeļu veidošanas serviss, kura mērķis ir modificēt datorspēles, piešķirot inteliģenci nespēlējamiem tēliem.
“Ģeneratīvajam MI ir potenciāls revolucionāri izmainīt spēlētāju interakciju ar NPC un ievērojami palielināt klātbūtnes efektu,” norādīja NVIDIA izstrādātāju un veiktspējas tehnoloģiju viceprezidents Džons Spicers. “Balstoties uz mūsu zināšanām MI jomā un gadu desmitiem ilgo pieredzi sadarbībā ar spēļu izstrādātājiem, NVIDIA ir iniciatore ģeneratīvā mākslīgā intelekta izmantošanā spēlēs.”
NVIDIA ACE for Games mākslīgā intelekta modeļi
Programmatūras, dažādu rīku un datorspēļu izstrādātāji varēs izmantot NVIDIA ACE for Games, lai veidotu un ieviestu pielāgotus runas, sarunu un animācijas modeļus savā programmatūrā un spēlēs kā mākonī, tā personālajos datoros.
Optimizētie MI pamata modeļi ietver šādas interesantas tehnoloģijas:
- NVIDIA NeMo, kas nodrošina valodas pamatmodeļus un to pielāgošanas rīkus, lai izstrādātāji varētu tālāk pielāgot modeļus spēļu varoņiem. Šis pielāgojamais lielais valodas modelis (LLM) ļauj veidot tēlu vēsturi un personību, kas atbilst izstrādātāja spēles pasaulei.
- NVIDIA Riva, kas nodrošina automātiskās runas atpazīšanas (ASR) un teksta pārveidošanas uz runu (TTS) iespējas, lai ar NVIDIA NeMo nodrošinātu dzīvas sarunas.
- NVIDIA Omniverse Audio2Face, kas uzreiz rada izteiksmīgu sejas animāciju spēļu varoņiem, izmantojot tikai audio avotu. Audio2Face tehnoloģijai ir Omniverse savienojumi ar Unreal Engine 5, lai izstrādātāji varētu pievienot sejas animāciju pa taisno MetaHuman personāžiem.
Kā tad darbojas NVIDIA ACE priekš spēlēm?
Lai demonstrētu NVIDIA ACE spēlēm jaudu un parādītu, kā izstrādātāji veidos NPC tuvākajā nākotnē, NVIDIA sadarbojusies ar Convai (NVIDIA Inception jaunuzņēmumu), kas veido platformu MI tēlu radīšanai un ieviešanai datorspēlēs un virtuālajās pasaulēs.
“Izmantojot NVIDIA ACE for Games, Convai rīki var sasniegt nepieciešamo latentumu un kvalitāti, lai mākslīgā intelekta NPC padarītu pieejamus gandrīz ikvienam izstrādātājam, turklāt izmaksu ziņā efektīvā veidā,” teica Purnends Mukherdžī, Convai dibinātājs un vadītājs.
Kairos demonstrācijā tika izmantota NVIDIA Riva, lai nodrošinātu runas pārvēršanas tekstā un teksta pārvēršanu runā, NVIDIA NeMo, lai darbinātu sarunvalodas MI, un Audio2Face, lai nodrošinātu MI darbināmu sejas animāciju no balss ievades. Šie moduļi tika integrēti Convai pakalpojumu platformā un izmantoti ar Unreal Engine 5 un MetaHuman, lai atdzīvinātu NPC, vārdā Džins.
Džinu un viņa Ramen ēstuves ainu radīja NVIDIA Lightspeed Studios mākslinieku komanda, un tā tika pilnībā veidota Unreal Engine 5, izmantojot NVIDIA RTX Direct Illumination (RTXDI) ray-tracing apgaismojumam un ēnām, kā arī DLSS, lai nodrošinātu augstāko iespējamo kadru ātrumu un attēla kvalitāti.
Šī reāllaika demonstrācija parāda, kas iespējams, izmantojot GeForce RTX grafikas kartes, NVIDIA RTX tehnoloģijas un NVIDIA ACE for Games. Te varam redzēt topošo spēļu iespējas, kurās tiks izmantota šī jaunā un inovatīvā tehnoloģija.
NVIDIA ACE: dzīvības piešķiršana NPC
Vairāki spēļu izstrādātāji jau izmanto NVIDIA ģeneratīvā MI tehnoloģijas. Piemēram, GSC Game World izmanto Audio2Face ilgi gaidītajā datorspēlē S.T.A.L.K.E.R. 2 Heart of Chornobyl. Savukārt neatkarīgais izstrādātājs Fallen Leaf izmanto Audio2Face spēles tēlu seju animācijai zinātniskās fantastikas trillerī Fort Solis, kura darbība norisinās uz Marsa. Savukārt Charisma.ai – uzņēmums, kas ar MI palīdzību nodrošina virtuālo tēlu veidošanu – izmanto Audio2Face, lai nodrošinātu animāciju savā sarunu veidošanas dzinējā.
Nākotnes perspektīvas
Kopumā izskatās, ka NVIDIA ACE for Games tehnoloģijai ir potenciāls radikāli mainīt datorspēļu pieredzi, ļaujot NPC reāllaikā ģenerēt unikālas sarunas, emocijas un pat balss intonācijas, kas atbilst katrai spēles situācijai un spēlētāja darbībām. Tā varētu padarīt datorspēļu pasaules daudz dzīvākas un iesaistošākas, jo katrs NPC varētu kļūt par unikālu personību ar savu stāstu un reakcijām.
Nākotnē šī tehnoloģija varētu attīstīties, integrējot arvien sarežģītākus emociju modeļus, personības iezīmes un pat spēju mācīties no mijiedarbības ar spēlētājiem, tādējādi radot arvien reālistiskākas un neprognozējamākas virtuālās pasaules, kas katram spēlētājam sniedz unikālu pieredzi.