Hoe is NVIDIA van plan frames te genereren via definities?

Belangrijkste punten

• NVIDIA en AMD verbeteren de game-ervaring met Frame Generation-technologie, die extra frames creëert voor vloeiendere gameplay. NVIDIA gebruikt complexe, hardwarespecifieke methoden, terwijl AMD's eenvoudigere AFMF-technologie op driverniveau werkt zonder tussenkomst van gameontwikkelaars.
• Het is onduidelijk of NVIDIA een framegeneratietechnologie zal gaan gebruiken die gebaseerd is op operationele parameters, zoals AMD's AFMF. Hun huidige technologie is sterk afhankelijk van nieuwere GPU's en combineert verschillende methoden voor een betere kwaliteit, wat erop kan wijzen dat ze mogelijk terughoudend zijn om hun strategie te veranderen.
• Beide methoden verbeteren de framesnelheid, maar kunnen visuele fouten of vertragingen veroorzaken. AMD's AFMF-technologie is flexibeler, maar mogelijk minder nauwkeurig, terwijl NVIDIA's aanpak prioriteit geeft aan kwaliteit en mogelijk verder zal ontwikkelen met nieuwe GPU-releases.

Inmiddels hebben we waarschijnlijk allemaal wel eens gehoord van het nieuwe modewoord in de gamingwereld, bedacht door zowel NVIDIA als AMD:Frame generatie“(Framegeneratie). Deze technologie, die zowel door critici als voorstanders wordt beschreven als de toekomst van gaming, heeft nog wat verbeteringen nodig voordat het dé oplossing wordt.”ideaal"Om je prestaties te verbeteren."

Met AMD's AFMF-technologie wordt een nieuwe standaard gezet voor een eenvoudige tool voor het genereren van frames, gebaseerd op "Druk en werkingZal NVIDIA in de voetsporen van AMD treden en een universele oplossing voor framegeneratie implementeren op basis van besturingssysteemdefinities? We zullen het zien.

Zal NVIDIA een oplossing voor framegeneratie ontwikkelen op basis van operationele definities?

Voordat we ingaan op het eigenlijke onderwerp, laten we eerst eens bekijken hoe upscaling- en framegeneratietechnieken werken en welke belangrijke termen we moeten begrijpen.

Techniek DLSS Het is een afkorting voor Diep leren Super Sampling Het werd in 2017 door NVIDIA geïntroduceerd. 2018 Als onderdeel van de serie grafische processoren (GPU's) RTX-extensieSimpel gezegd scant en verzamelt DLSS gegevens uit eerdere frames en gebruikt deze gegevens om ontbrekende pixels in het nieuwe frame aan te vullen. Met een vleugje AIJe krijgt een verbeterde (opgeschaalde) afbeelding met Verbeterde prestaties.

Daarentegen kan technologie FSR Van AMD of Fidelity FX Superresolutie Het werkt op vrijwel elke grafische processor. Het maakt gebruik van een eigen algoritme voor ruimtelijke opschaling. open source Het verhogen van de spelresolutie van een lagere naar een hogere resolutie is veel praktischer dan DLSS, omdat het niet afhankelijk is van de hardware.

Enkele belangrijke termen en een inleiding tot framegeneratie.

Met de RTX 40-serie kwam de technologie tot bloei. DLSS-3.0 وNVIDIA Frame GeneratieWat wordt er precies bedoeld met 'framegeneratie'? Framegeneratie is, in de meest eenvoudige vorm, het invoegen van een frame tussen twee andere frames. Dit proces wordt genoemd InterpolatieDit was een veelgebruikte techniek bij televisies om de framesnelheid van de weergegeven content aan te passen aan de verversingsfrequentie van de televisie.

Opschaling verbetert simpelweg de beeldkwaliteit en verhoogt de prestaties. Framegeneratie (FG) daarentegen creëert een volledig nieuw frame tussen twee bestaande frames, rendert deze en raadt het volgende frame, dit alles met behoud van een acceptabele reactietijd.

Deze geavanceerde technologie vereist begrip. Twee concepten Belangrijke spelers op dit gebied: Optische stroomanalyse وBewegingsvectorenLaten we ze één voor één bekijken:

1) Optische stroomanalyse

Deze techniek neemt een reeks afbeeldingen en schat in hoe de volgende versie van de afbeelding eruit zal zien. Deze schatting wordt gemaakt door middel van analyse. Snelheid, kleur, helderheid De objecten in de afbeelding. In plaats van een duidelijk en specifiek resultaat te krijgen, krijg je slechts een ruwe schatting.

Stel je voor dat een bal over de grond naar rechts rolt. De bal bereikt zijn bestemming in 5 Afzonderlijke stappen. Ervan uitgaande dat de beweging quasi-lineair en in een rechte lijn is, kun je de eindbestemming voorspellen. Als je dit hebt bestudeerd Analytische meetkundeJe bent vast wel eens de dubbele punt-notatie tegengekomen:

y - y1 = (x-x1)(y2-y1) / (x2-x1)

Aan de hand van slechts twee punten kunnen we de vergelijking van de gegeven lijn bepalen. Omdat de helling constant is, is het voorspellen van de volgende positie van het beeld/punt niet ingewikkeld. Het is belangrijk op te merken dat de daadwerkelijke techniek veel complexer is dan dit.

Het allerbelangrijkste is de optische stroomanalyse. لا يتطلب Toegang tot game-enginegegevens. Dit kan worden toegepast op BestuurdersniveauDe driversoftware interpoleert (voegt in) frames door bewegingen op het scherm te voorspellen. Simpel gezegd, visuele stroomanalyse heeft geen interactie met de game-engine.

Het nadeel is dat de bestuurder geen onderscheid kan maken tussen Gebruikersinterface (UI) en het milieu 3D De feitelijke gegevens worden gebruikt, waardoor onverwachte vertekeningen kunnen optreden. Bovendien zal de output nooit gepolijst zijn, omdat er gebruik wordt gemaakt van onbewerkte framegegevens.

2) Bewegingsvectoren in de game-engine

Bewegingsvectoren zijn richtingsvectoren die aangeven verplaatsing Objecten bewegen van frame naar frame. Ze vormen een fundamenteel onderdeel van de game-engine en representeren de transformatie en beweging van objecten. Dit is een krachtigere manier om beweging weer te geven dan simpelweg de positie van het object te "raden".

Mocht je het je afvragen: bewegingsvectoren zijn een essentieel onderdeel van framegeneratie. Deze data vereist echter compatibiliteit tussen de driver en de game-engine. Het realiseren van deze compatibiliteit vereist implementatie door de game-ontwikkelaars.

Daarom zijn bewegingsvectoren, hoewel superieur aan optische stroomanalyse, zeer beperkt in hun reikwijdte en schaalbaarheid, en zal deze functie niet in elk spel beschikbaar zijn. Als je een oudere titel speelt van jaren 2010Het is zeer waarschijnlijk dat de oplossingen niet zullen zijn. Bandengeneratie (FG) Ondersteuning door bewegingsvectoren (zoals DLSS FG en FSR 3 FG) is aanwezig.

Vergelijking tussen DLSS-framegeneratie en FSR-framegeneratie

Laten we nu eens kijken hoe de huidige framegeneratietechnologieën van zowel Team Groen als Team Rood zich tot elkaar verhouden.

↪ NVIDIA:

NVIDIA's versie van framegeneratie maakt gebruik van een combinatie van bewegingsvectoren en optische stroomanalyse. Optische stroomversneller Bij RTX 40 GPU's worden twee frames geanalyseerd. Dit proces identificeert vervolgens informatie die niet in de bewegingsvectoren van het spel is opgenomen, zoals deeltjes, reflecties, schaduwen, enzovoort. In het onderstaande voorbeeld maakt optische stroomanalyse nauwkeurige schaduwtracking mogelijk.

Daarentegen volgen gedeeltelijke sporen bewegingsvector De driedimensionale omgeving en de geometrie van de scène. In het fietsvoorbeeld kunnen bewegingsvectoren wiskundig de precieze toekomstige positie van de fietser of de weg bepalen. Ze kunnen echter de schaduw niet bepalen, en dat is nu juist het doel van optische stroomanalyse. Daarom moeten beide methoden samenwerken om een ​​nauwkeurig beeld te produceren.

• Vereist Ontwikkelaarsondersteuning de spellen
• يستخدم mengen من Optische stroomanalyse وBewegingsvectoren
• beperkt met hardware Op grafische processoren RTX 40
• Niet mogelijk Het implementeren ervan op Rijprogramma niveau

↪ AMD:

Technologie FSR 3 Bandengeneratie Het is zeer vergelijkbaar met NVIDIA's DLSS-framegeneratietechnologie. Afgezien van enkele naamswijzigingen, combineert deze technologie ook een aantal andere elementen. Optische stroomanalyse وBewegingsvectorenBeide technologieën vereisen, om voor de hand liggende redenen, ondersteuning van gameontwikkelaars.

• Vereist Ontwikkelaarsondersteuning de spellen
• يستخدم mengen من Optische stroomanalyse وBewegingsvectoren
• Het kan worden ingeschakeld op grafische processoren uit de serie. RX 5000/6000 وRTX 20/30/40
• Niet mogelijk Het implementeren ervan op Rijprogramma niveau

Anomalie: AMD Fluid Motion Frames (AFMF)

Het dichtstbijzijnde dat we hebben bij een door een operator gedefinieerde framegenerator is AMD Fluid Motion-framesAFMF heeft geen enkele interactie met het spel. Het is ervan afhankelijk. puur على Optische stroomanalyseOf het volgende frame voorspellen.

Hierdoor werkt het met alle adressen. DirectX 11/12 Het vereist vrijwel geen softwareondersteuning. AFMF verhoogt de framesnelheid niet daadwerkelijk, maar zorgt ervoor dat het spel vloeiender lijkt te lopen, wat je als het ware een "plus" aan frames op je scherm ziet.

Wat zijn dan de nadelen? Nou, AFMF komt bij lange na niet in de buurt van DLSS FG of FSR FG. Bovendien zullen gebruikers te maken krijgen met de haperingen in de gebruikersinterface. Omdat het echter op hardwareniveau werkt, is het een zeer goede optie als je bereid bent om eventuele fouten te accepteren.

• لا يتطلب Ondersteuning van gameontwikkelaars
• يستخدم Alleen optische stroomanalyse
• Het ondersteunt alleen grafische processoren. RDNA2 of nieuwer
• Werken puur على Operator definitieniveau

Zal NVIDIA reageren op AFMF?

Het voor de hand liggende antwoord is 'We weten het niet'Omdat NVIDIA nog geen verklaring heeft afgegeven over een dergelijke optie.' Aaron Steinman AMD is ervan overtuigd dat hun stap NVIDIA ertoe zal aanzetten om binnenkort iets soortgelijks als AFMF te ontwikkelen.

"Ik ben benieuwd of NVIDIA nu vindt dat ze hetzelfde moeten doen als wij door sommige van deze oplossingen driver-gedefinieerd te maken."

Aaron Steinmanvoor PC Gamer

Het is opvallend dat we nog geen NVIDIA-versie van AFMF hebben gezien, vooral niet nadat vol trots werd beweerd dat de RTX 40-serie deze functie zou bevatten. Optische stroomversneller Beter vergeleken met Ampère (RTX 30). Dit was de belangrijkste reden waarom NVIDIA FG (met behulp van optische stroom + bewegingsvectoren) alleen kon worden ingeschakeld op Ada Lovelace.

Aan de andere kant zou NVIDIA voor dit project mogelijk een geheel nieuw model moeten trainen, wat aanzienlijke extra kosten met zich mee zou brengen.

↪ Is het echt de moeite waard?

Het genereren van frames met behulp van zowel optische stroomanalyse als bewegingsvectoren kent wel degelijk nadelen. Invoervertraging De effecten van deze functies maken ze uiterst onaantrekkelijk voor gamers. Aan de andere kant is driver-gebaseerde AFMF niet veel beter, omdat het je framesnelheid (FPS) opslokt door interpolatie, terwijl het inconsistent is en gevoelig voor visuele problemen en fouten.

De betere vraag is:Zou NVIDIA niet eerst de framegeneratie van DLSS moeten verbeteren?Aangezien AI doorgaans in de loop der tijd verbetert, zou het latentieprobleem grotendeels opgelost moeten zijn. Tenzij NVIDIA strikt gebonden is aan zijn datamodellen, zou het creëren van een framegeneratieoplossing op driverniveau geen probleem moeten zijn, maar is het de moeite waard?

↪ Zal het zinloos zijn?

Waar zou NVIDIA zijn versie van AFMF standaard gebruiken? NVIDIA zal deze functie waarschijnlijk beperken tot GPU's uit de 500-serie. RTX 40 Of een hogere processor, die op zichzelf krachtig genoeg is om oudere games met uitstekende framerates te draaien. Vaak De nieuwste spellen omvatten Ondersteuning voor DLSS 3 FG / FSR 3 FG.

تعد Mobiele grafische processoren (GPU's) Een ander geval, maar een aanpak op driverniveau zou erg nuttig zijn voor oudere architecturen zoals Pascal و Maxwell و Kepler و FermiHelaas zal het om technische redenen vrijwel onmogelijk zijn om deze functie uit te breiden naar die apparaten. Ze beschikken niet over de benodigde functionaliteit. Tensor kernenOndertussen kan CUDA niet veel. Zelfs AFMF werkt alleen met RDNA2 of latere builds.

Verwachtingen voor de RTX 50 'Blackwell'

Volgens geruchten zal er een serie verschijnen. RTX 50 Voor het eerst in Vierde kwartaal van 2024Verwacht een groot aantal aankondigingen, die al dan niet een universele oplossing voor framegeneratie kunnen bevatten. Ondanks de verwachte hardware-lock-in voor de RTX 40/50-serie staat NVIDIA erom bekend op geen enkel gebied achter te blijven. Dit is echter pure speculatie.Er zijn geen geruchten. Dit verwijst naar dergelijke plannen van NVIDIA.

Conclusie

Hoewel kunstmatige intelligentie (AI) een ongekende groei heeft doorgemaakt, is er voldoende hardware nodig om AI-processen te verwerken en te versnellen. Als de GPU-cores niet snel genoeg zijn, is realtime frame-interpolatie simpelweg onmogelijk. Je zou deze verwerking kunnen uitbesteden aan een server, maar dat vereist een abonnement en resulteert in een zeer slechte latency. Het is belangrijk dat GPU-fabrikanten een goede balans vinden. Wat zijn jouw gedachten hierover? Laat het ons weten in de reacties.

veelgestelde vragen

Wat is Driver-Based Frame Generation in eenvoudige bewoordingen?

Simpel gezegd is framegeneratie op definitieniveau een universele oplossing voor het genereren van frames binnen frames, zonder dat daarvoor ondersteuning van gameontwikkelaars nodig is.

Mocht het ooit worden uitgebracht, zal NVIDIA de oplossing voor framegeneratie op driverniveau (FG) dan beperken tot GPU's uit de RTX 40-serie of hoger?

Hoogstwaarschijnlijk wel. Omdat DLSS 3 FG vanwege de nieuwe "Optical Flow Accelerator" grafische kaarten uit de RTX 40-serie vereist, is het te verwachten dat officiële drivergebaseerde oplossingen vergelijkbare vereisten zullen hebben.

Zal de RTX 50-serie de framegeneratietechnologie zoals we die kennen, revolutioneren?

Er zijn geen bevestigde geruchten hierover. De tijd zal het leren, vooral omdat de meesten van ons niet bekend waren met Frame Generation-technologie voordat NVIDIA deze twee jaar geleden aankondigde.