Hoe is NVIDIA van plan frames te genereren via definities?

Belangrijkste punten

• NVIDIA en AMD verbeteren de game-ervaring met Frame Generation-technologie, die extra frames creëert voor vloeiendere gameplay. NVIDIA gebruikt complexe, hardwarespecifieke methoden, terwijl AMD's eenvoudigere AFMF-technologie op driverniveau werkt zonder tussenkomst van gameontwikkelaars.
• Het is onduidelijk of NVIDIA een framegeneratietechnologie zal gaan gebruiken die gebaseerd is op operationele parameters, zoals AMD's AFMF. Hun huidige technologie is sterk afhankelijk van nieuwere GPU's en combineert verschillende methoden voor een betere kwaliteit, wat erop kan wijzen dat ze mogelijk terughoudend zijn om hun strategie te veranderen.
• Beide methoden verbeteren de framesnelheid, maar kunnen visuele fouten of vertragingen veroorzaken. AMD's AFMF-technologie is flexibeler, maar mogelijk minder nauwkeurig, terwijl NVIDIA's aanpak prioriteit geeft aan kwaliteit en mogelijk verder zal ontwikkelen met nieuwe GPU-releases.

Inmiddels hebben we waarschijnlijk allemaal wel eens gehoord van de nieuwe modeterm in de gamingwereld, bedacht door zowel NVIDIA als AMD: " Frame Generation". Deze technologie, die door zowel critici als voorstanders wordt geprezen als de toekomst van gaming, moet nog verder worden verfijnd voordat het de " ideale " oplossing wordt om je prestaties te verbeteren.

Nu AMD's AFMF-technologie een nieuwe standaard zet voor een eenvoudige " druk en speel "-tool voor het genereren van frames, zal NVIDIA in AMD's voetsporen treden en een universele oplossing voor framegeneratie implementeren op basis van speeldefinities? Laten we het uitzoeken.

Zal NVIDIA een oplossing voor framegeneratie ontwikkelen op basis van operationele definities?

Voordat we ingaan op het eigenlijke onderwerp, laten we eerst eens bekijken hoe upscaling- en framegeneratietechnieken werken en welke belangrijke termen we moeten begrijpen.

DLSS staat voor Deep Learning Super Sampling en werd in 2018 door NVIDIA geïntroduceerd als onderdeel van de RTX- serie grafische processoren (GPU's) . Simpel gezegd scant en verzamelt DLSS gegevens uit eerdere frames en gebruikt deze gegevens om ontbrekende pixels in het nieuwe frame aan te vullen. Met een vleugje AI krijg je een verbeterd (opgeschaald) beeld met betere prestaties.

Daarentegen werkt AMD's FSR- of Fidelity FX Super Resolution- technologie op vrijwel elke grafische processor. Het maakt gebruik van een eigen, open-source algoritme voor ruimtelijke opschaling om de resolutie van een game te verhogen. Het is veel praktischer dan DLSS, omdat het niet hardware-afhankelijk is.

Enkele belangrijke termen en een inleiding tot framegeneratie.

Met de RTX 40-serie kwamen DLSS 3.0 en NVIDIA Frame Generation . Wat betekent 'frame generation' precies? Frame generation is, simpel gezegd, het invoegen van een frame tussen twee andere frames. Dit proces wordt interpolatie genoemd . Het was een veelgebruikte techniek bij televisies om de framesnelheid van de weergegeven content aan te passen aan de verversingsfrequentie van de televisie.

Opschaling verbetert simpelweg de beeldkwaliteit en verhoogt de prestaties. Framegeneratie (FG) daarentegen creëert een volledig nieuw frame tussen twee bestaande frames, rendert deze en raadt het volgende frame, dit alles met behoud van een acceptabele reactietijd.

Deze geavanceerde techniek vereist inzicht in twee fundamentele concepten binnen dit vakgebied: optische stroomanalyse en bewegingsvectoren . Laten we ze één voor één bekijken:

1) Optische stroomanalyse

Deze techniek neemt een reeks afbeeldingen en schat in hoe de volgende versie van de afbeelding eruit zal zien. Deze schatting wordt gemaakt door de snelheid, kleur en helderheid van objecten in de afbeelding te analyseren. In plaats van een duidelijk en specifiek resultaat te verkrijgen, krijg je slechts een ruwe schatting.

Stel je een bal voor die naar rechts over de grond rolt. De bal bereikt zijn bestemming in vijf afzonderlijke stappen. Ervan uitgaande dat de beweging quasi-lineair en in een rechte lijn is, kun je de eindbestemming voorspellen. Als je analytische meetkunde hebt gestudeerd , ben je waarschijnlijk de tweepuntsformule tegengekomen:

y - y1 = (x-x1)(y2-y1) / (x2-x1)

Aan de hand van slechts twee punten kunnen we de vergelijking van de gegeven lijn bepalen. Omdat de helling constant is, is het voorspellen van de volgende positie van het beeld/punt niet ingewikkeld. Het is belangrijk op te merken dat de daadwerkelijke techniek veel complexer is dan dit.

Het belangrijkste is dat optische stroomanalyse geen toegang tot de data van de game-engine vereist. Het kan worden toegepast op driverniveau , waar de driver frames interpoleert (invoegt) door bewegingen op het scherm te voorspellen. Simpel gezegd, optische stroomanalyse heeft geen interactie met de game-engine.

Het nadeel is dat de driver geen onderscheid kan maken tussen de gebruikersinterface (UI) en de daadwerkelijke 3D- omgeving , waardoor onverwachte vervormingen kunnen optreden. Bovendien zal de output nooit verfijnd zijn, omdat er gebruik wordt gemaakt van ruwe framegegevens.

2) Bewegingsvectoren in de game-engine

Bewegingsvectoren zijn richtingsvectoren die de verplaatsing van objecten van het ene frame naar het andere aangeven. Ze vormen een fundamenteel onderdeel van game-engines en representeren de transformatie en beweging van objecten. Dit is een krachtigere manier om beweging weer te geven dan simpelweg de positie van een object te "raden".

Mocht je het je afvragen: bewegingsvectoren zijn een essentieel onderdeel van framegeneratie. Deze data vereist echter compatibiliteit tussen de driver en de game-engine. Het realiseren van deze compatibiliteit vereist implementatie door de game-ontwikkelaars.

Hoewel bewegingsvectoren superieur zijn aan optische stroomanalyse, zijn ze daarom zeer beperkt in hun toepassingsgebied en schaalbaarheid. Dit betekent dat deze functie niet in elk spel beschikbaar zal zijn. Als je een oudere game uit de jaren 2010 speelt, is het zeer onwaarschijnlijk dat framegeneratieoplossingen (FG) die worden ondersteund door bewegingsvectoren (zoals DLSS FG en FSR3 FG) beschikbaar zijn.

Vergelijking tussen DLSS-framegeneratie en FSR-framegeneratie

Laten we nu eens kijken hoe de huidige framegeneratietechnologieën van zowel Team Groen als Team Rood zich tot elkaar verhouden.

↪ NVIDIA:

NVIDIA's versie van framegeneratie maakt gebruik van een combinatie van bewegingsvectoren en optische stroomanalyse. De Optical Flow Accelerator in RTX 40-serie GPU's analyseert twee frames. Vervolgens identificeert het informatie die niet in de bewegingsvectoren van het spel is opgenomen, zoals deeltjes, reflecties, schaduwen, enzovoort. In het onderstaande voorbeeld maakt optische stroomanalyse nauwkeurige schaduwtracking mogelijk.

Daarentegen volgt de bewegingsvectorcomponent de driedimensionale omgeving en de geometrie van de scène. In het fietsvoorbeeld kunnen de bewegingsvectoren wiskundig de precieze toekomstige positie van de fietser of de weg bepalen. Ze kunnen echter de schaduw niet bepalen, wat juist het doel is van optische stroomanalyse. Daarom moeten de twee samenwerken om een ​​nauwkeurig beeld te produceren.

• Vereist Ontwikkelaarsondersteuning de spellen
• يستخدم mengen من Optische stroomanalyse وBewegingsvectoren
• beperkt met hardware Op grafische processoren RTX 40
• Niet mogelijk Het implementeren ervan op Rijprogramma niveau

↪ AMD:

De framegeneratietechnologie van FSR 3 lijkt sterk op de framegeneratietechnologie van NVIDIA DLSS. Afgezien van enkele naamswijzigingen integreert deze technologie ook een combinatie van visuele stroomanalyse en bewegingsvectoren . Beide technologieën vereisen, vanzelfsprekend, ondersteuning van gameontwikkelaars.

• Vereist Ontwikkelaarsondersteuning de spellen
• يستخدم mengen من Optische stroomanalyse وBewegingsvectoren
• Het kan worden ingeschakeld op grafische processoren uit de serie. RX 5000/6000 وRTX 20/30/40
• Niet mogelijk Het implementeren ervan op Rijprogramma niveau

Anomalie: AMD Fluid Motion Frames (AFMF)

Het dichtstbijzijnde hulpmiddel dat spelers zelf frames kunnen laten genereren, is AMD Fluid Motion Frames . AFMF heeft geen enkele interactie met het spel. Het is puur gebaseerd op visuele stroomanalyse , oftewel het voorspellen van het volgende frame.

Hierdoor werkt het met vrijwel alle DirectX 11/12 -titels, omdat er geen softwareondersteuning nodig is. AFMF verhoogt de framesnelheid niet daadwerkelijk, maar zorgt ervoor dat het spel er vloeiender uitziet, omdat je een "plus " aan frames op je scherm ziet.

Wat zijn dan de nadelen? Nou, AFMF komt bij lange na niet in de buurt van DLSS FG of FSR FG. Bovendien zullen gebruikers te maken krijgen met de haperingen in de gebruikersinterface. Omdat het echter op hardwareniveau werkt, is het een zeer goede optie als je bereid bent om eventuele fouten te accepteren.

• لا يتطلب Ondersteuning van gameontwikkelaars
• يستخدم Alleen optische stroomanalyse
• Het ondersteunt alleen grafische processoren. RDNA2 of nieuwer
• Werken puur على Operator definitieniveau

Zal NVIDIA reageren op AFMF?

Het voor de hand liggende antwoord is ' we weten het niet ', omdat NVIDIA nog geen verklaring heeft afgegeven over een dergelijke optie. Aaron Steinman van AMD bevestigt dat hun stap NVIDIA ertoe zal aanzetten om binnenkort iets soortgelijks als AFMF te ontwikkelen.

"Ik ben benieuwd of NVIDIA nu vindt dat ze hetzelfde moeten doen als wij door sommige van deze oplossingen driver-gedefinieerd te maken."

Aaron Steinman , voor PC Gamer

Het is opvallend dat we nog geen NVIDIA-versie van AFMF hebben gezien, vooral niet nadat er met trots werd beweerd dat de RTX 40-serie een betere optische stroomversneller had dan de Ampere (RTX 30). Dit was de belangrijkste reden waarom NVIDIA FG (met optische stroom + bewegingsvectoren) alleen op de Ada Lovelace kon worden ingeschakeld.

Aan de andere kant zou NVIDIA voor dit project mogelijk een geheel nieuw model moeten trainen, wat aanzienlijke extra kosten met zich mee zou brengen.

↪ Is het echt de moeite waard?

Het genereren van frames met behulp van zowel optische stroomanalyse als bewegingsvectoren kent nadelen. De inputvertraging die deze functies veroorzaken, maakt ze zeer onaantrekkelijk voor gamers. Aan de andere kant is driver-gebaseerde AFMF niet veel beter, omdat het je framesnelheid (FPS) opslokt door interpolatie, terwijl het inconsistent is en gevoelig voor visuele storingen en fouten.

De betere vraag is: ' Zou NVIDIA niet eerst de DLSS-framegeneratie moeten verbeteren ?' Aangezien AI doorgaans in de loop der tijd verbetert, zou het latentieprobleem grotendeels opgelost moeten zijn. Tenzij NVIDIA strikt gebonden is aan zijn datamodellen, zou het creëren van een framegeneratieoplossing op driverniveau geen probleem moeten zijn, maar is het de moeite waard?

↪ Zal het zinloos zijn?

Waar zou je NVIDIA's versie van AFMF standaard gebruiken? NVIDIA zal deze functie waarschijnlijk beperken tot GPU's uit de RTX 40- serie of hoger, die al krachtig genoeg zijn om oudere games met uitstekende framerates te draaien. Nieuwere games bevatten vaak ondersteuning voor DLSS 3 FG/FSR 3 FG.

Mobiele GPU's zijn een ander geval, maar een aanpak op driverniveau zou erg nuttig zijn voor oudere architecturen zoals Pascal , Maxwell , Kepler en Fermi . Helaas is het om technische redenen vrijwel onmogelijk om deze functie naar die apparaten uit te breiden. Ze missen Tensor Cores en CUDA kan er niet veel mee. Zelfs AFMF werkt alleen met RDNA2 of latere architecturen.

Verwachtingen voor de RTX 50 'Blackwell'

Volgens geruchten zal de RTX 50- serie in het vierde kwartaal van 2024 verschijnen . Verwacht een stortvloed aan aankondigingen, die al dan niet een universele oplossing voor framegeneratie zullen bevatten. Ondanks de verwachte hardware-lock-in bij de RTX 40/50-serie, staat NVIDIA erom bekend op geen enkel gebied achter te lopen. Dit is echter pure speculatie en er zijn geen geruchten die dergelijke plannen van NVIDIA bevestigen.

Conclusie

Hoewel kunstmatige intelligentie (AI) een ongekende groei heeft doorgemaakt, is er voldoende hardware nodig om AI-processen te verwerken en te versnellen. Als de GPU-cores niet snel genoeg zijn, is realtime frame-interpolatie simpelweg onmogelijk. Je zou deze verwerking kunnen uitbesteden aan een server, maar dat vereist een abonnement en resulteert in een zeer slechte latency. Het is belangrijk dat GPU-fabrikanten een goede balans vinden. Wat zijn jouw gedachten hierover? Laat het ons weten in de reacties.

veelgestelde vragen

Wat is Driver-Based Frame Generation in eenvoudige bewoordingen?

Simpel gezegd is framegeneratie op definitieniveau een universele oplossing voor het genereren van frames binnen frames, zonder dat daarvoor ondersteuning van gameontwikkelaars nodig is.

Mocht het ooit worden uitgebracht, zal NVIDIA de oplossing voor framegeneratie op driverniveau (FG) dan beperken tot GPU's uit de RTX 40-serie of hoger?

Hoogstwaarschijnlijk wel. Omdat DLSS 3 FG vanwege de nieuwe "Optical Flow Accelerator" grafische kaarten uit de RTX 40-serie vereist, is het te verwachten dat officiële drivergebaseerde oplossingen vergelijkbare vereisten zullen hebben.

Zal de RTX 50-serie de framegeneratietechnologie zoals we die kennen, revolutioneren?

Er zijn geen bevestigde geruchten hierover. De tijd zal het leren, vooral omdat de meesten van ons niet bekend waren met Frame Generation-technologie voordat NVIDIA deze twee jaar geleden aankondigde.