De nieuwe virtuele camera van Stability AI verandert iedere foto in een verbluffende 3D-video. Ik ben onder de indruk van de kwaliteit.

Stability AI-video's voegen al jaren beweging en leven toe aan tekst en afbeeldingen, maar nu voegen ze letterlijk een nieuwe dimensie toe door 2D-afbeeldingen om te zetten in 3D-video's. Deze technologie is een kwalitatieve aanvulling op het gebied van generatieve kunstmatige intelligentie voor video.

De nieuwe Stable Virtual Camera-tool van het bedrijf is ontworpen om zelfs één enkele afbeelding te verwerken en om te zetten in een geanimeerde video met meerdere perspectieven. Dit betekent dat u de video kunt ronddraaien en vanuit elke hoek kunt bekijken. Met deze tool kunt u eenvoudig innovatieve 3D-videocontent maken.

Dit concept is niet helemaal nieuw. Virtuele camera's worden al lang gebruikt in films en animaties. Hiermee kunnen makers door digitale scènes navigeren en deze manipuleren. Maar Stability AI neemt dit concept over en voegt er een flinke dosis generatieve AI aan toe. Het resultaat is dat gebruikers geen gedetailleerde 3D-scènereconstructie of nauwkeurig gekalibreerde camera-instellingen meer nodig hebben. Met Stable Virtual Camera kunnen ze vloeiende, dieptenauwkeurige 3D-bewegingen creëren, zelfs op basis van één enkele afbeelding, en dat alles met minimale inspanning.

Wat deze tool onderscheidt van andere AI-videogeneratietools, is dat de tool niet gokt op animaties en niet afhankelijk is van enorme datasets of frame-voor-frame-reconstructie. Stable Virtual Camera maakt gebruik van een multi-view propagatieproces om nieuwe hoeken te genereren op basis van de aangeleverde afbeelding. Hierdoor lijkt het resultaat op een model dat daadwerkelijk in de echte wereld zou kunnen bestaan. Deze aanpak verbetert het realisme van de uiteindelijke video's.

Met deze tool kunnen gebruikers camerapaden met cinematografische precisie besturen, waarbij ze kunnen kiezen uit acties als zoomen, draaien of zelfs een spiraalvormig pad. De resulterende video kan in staand formaat zijn voor mobiele apparaten of in breedbeeldformaat. De standaardcamera kan slechts met één afbeelding werken, maar kan maximaal 32 afbeeldingen verwerken.

Stability AI heeft het model beschikbaar gesteld onder een niet-commerciële licentie voor onderzoeksdoeleinden. Dit betekent dat je het kunt uitproberen als je over enige technische vaardigheden beschikt door de code van GitHub te halen. Doordat Stability AI open source is, zoals dat doorgaans het geval is, kan de AI-ontwikkelaarscommunity de mogelijkheden van de virtuele camera verbeteren en uitbreiden zonder dat ze hiervoor kosten aan het bedrijf hoeven te betalen.

3D AI

Natuurlijk is geen enkel AI-model perfect en Stability AI is openhartig over de tekortkomingen waar nog aan wordt gewerkt. Als je realistische mensen en dieren wilt maken, of materialen met bijzonder rommelige texturen (zoals water), dan kan het zijn dat je iets krijgt dat thuishoort in een lowbudget horrorfilm.

Wees niet verbaasd als u video's ziet die ermee zijn gemaakt, waarin perspectieven vreemd over objecten bewegen of waarin perspectiefverschuivingen resulteren in flikkerende, spookachtige effecten. Het is nog maar de vraag of deze tool breed zal worden omarmd of dat het slechts een AI-tool is die door nichefilmmakers over het hoofd wordt gezien.

En dan hebben we het nog niet eens gehad over de concurrentie van AI-videotools zoals Sora, Pika, Runway, Pollo van OpenAI en Dream Machine van Luma Labs. Stable Virtual Camera zal zichzelf in de echte filmwereld moeten bewijzen om verder te komen dan alleen maar een leuke demovideo.