Nvidia toont interactieve NPC's en DLSS 3.5 straalreconstructie die dit najaar naar alle RTX GPU's komt

Naast de aankondiging van een Half-Life 2 RTX remaster op Gamescom 2023, liet Nvidia ook een aantal verbeteringen zien voor zijn RTX-technologieën. Deze omvatten een groot taalmodel (LLM) voor niet-speelbare personages (NPC's) in de game en een belangrijke DLSS 3.5-update die betere lichteffecten biedt via Ray Reconstruction.

Nvidia ACE en NeMo SteerLM

NPC's dragen bij aan de onderdompeling in een spelwereld, maar het is een enorme opgave voor ontwikkelaars om alle NPC's in een spel duidelijk te programmeren. Nvidia pronkte voor het eerst met zijn Avatar Cloud Engine (ACE) tijdens Computex 2023, die AI gebruikt om intelligentie naar NPC's te brengen.

ACE maakt gebruik van drie belangrijke AI-componenten: NeMo LLM, Riva automatische spraakherkenning (ASR) en tekst-naar-spraak (TTS) en Omniverse Audio2Face dat gezichtsanimaties kan maken van een audiobron.

Nu breidt het bedrijf ACE uit met NeMo SteerLM, een LLM die persoonlijkheid en emotie toevoegt aan NPC's voor extra realisme. Met SteerLM kunnen gamers de interactie tussen personages definiëren en afstemmen op een manier die vergelijkbaar is met hoe LLM's kunnen worden geleid met behulp van natuurlijke taalaanwijzingen. Met SteerLM kunnen ontwikkelaars modellen ook laten beïnvloeden door gebeurtenissen in de spelwereld.

DLSS 3.5 brengt Ray Reconstruction naar alle RTX GPU's

Nvidia introduceerde DLSS 3 met Frame Generation dat gebruikmaakt van de 4e generatie Tensor cores en Optical Flow Accelerators in RTX 40 Series GPU's. Nu, op Gamescom 2023, brengt Nvidia de mogelijkheid om ray tracing-pijplijnen op te nemen met DLSS 3.5.

Een traditionele ray tracing-pijplijn samples rays voor reflecties en globale verlichting die vervolgens worden onderworpen aan denoising. In DLSS wordt dit uitgevoerd met een lagere resolutie en vervolgens opgeschaald. Het gebruik van denoisers, hoewel essentieel, kan echter resulteren in onnauwkeurige belichting en mogelijk ook informatie verwijderen, zoals kleur.

Momenteel gebruiken ontwikkelaars de Nvidia Real-time Denoiser (NRD), wat een grote verbetering is ten opzichte van de Spatiotemporal Variance-Guided Filtering (SVGF) oplossing die eerder werd gebruikt. Geruchten wijzen erop dat Nvidia een denoising-accelerator direct in de RT-pijplijn zal opnemen met de aankomende RTX 50 Blackwell-kaarten.

Dat is echter slechts speculatie en de RTX 50 is nog een paar jaar verwijderd van het daglicht. Voor nu wil Nvidia de beperkingen van denoising overwinnen met DLSS 3.5, dat AI-gestuurde Ray Reconstruction (RR) brengt.

Volgens het bedrijf is RR getraind op 5x meer data dan DLSS 3 en is het een superieure oplossing die getraind is om bewegingsvectoren en ray traced effecten te herkennen, terwijl het in staat is om onderscheid te maken tussen goede en pixel pixels. Het AI-netwerk is ook getraind om vitale informatie te behouden om een upscale van hoge kwaliteit te genereren.

Volgens Nvidia heeft het inschakelen van DLSS 3.5 geen grote invloed op de algehele spelprestaties. In tegenstelling tot DLSS 3.0 Frame Generation (FG), dat expliciet gebruikmaakt van Optical Flow Accelerators in RTX 40 Series GPU's, werkt DLSS 3.5 RR op alle RTX-kaarten.

DLSS 3.5 komt dit najaar naar games als Cyberpunk 2077: Phantom Liberty, Portal met RTX en Alan Wake 2 en zal worden ondersteund op platforms als Omniverse, Chaos Vantage en D5 Render.