Het volgende tijdperk van concurrentie voor camera's: de essentie van de race ligt in hun vermogen om te begrijpen.

De demonstratie die me overtuigde, vond plaats in een kunstgalerie die ik zelf had gebouwd.

We konden geen team van gidsen regelen, dus ontwikkelde ik een nevenproject om ze te vervangen. Er was geen invoerveld of iets dergelijks om iets in te typen. Je richtte je telefoon op iets en het vertelde je wat je zag. Toen de tentoonstelling eindigde, bleven mensen het toch gebruiken.

Ze wezen hem de weg naar de gebouwen, de bloemen, het speelgoed van hun kinderen, de posters op straat, en niets van dit alles had iets met de tentoonstelling te maken.

Zonder dat iemand hen daarom vroeg, besloten ze dat de camera de wereld aan hen moest kunnen uitleggen.

Het is nu de verantwoordelijkheid van de industrie om aan deze verwachting te voldoen, en dat gebeurt in een tijd waarin kunstmatige intelligentie verschuift van een trainingsprobleem naar een inferentieprobleem, waarbij het meeste werk op het apparaat zelf wordt gedaan terwijl iemand zijn telefoon op een niet-meewerkende echte wereld richt.

Een model heeft andere dingen nodig van een foto dan je oog: randen om op te rusten en structuur om te herstellen wanneer de foto vol reflecties of onscherpte zit. De kleuren en het contrast die een foto er goed uit laten zien, zijn voor een model vaak juist een belemmering.

De sensor die je nodig hebt voor een menselijke kijker en de sensor die je nodig hebt voor een model vereisen verschillende ontwerpen.

De sensor is een perceptieprobleem geworden, en mensen die realtime-visiesystemen bouwen, maken zich daar nu net zo druk over als fotografen vroeger.

Waar kwam de sensor vandaan?

De actieve pixel CMOS-sensor, uitgevonden door Eric Fossum en ontwikkeld in het begin van de jaren negentig, is de reden dat er tegenwoordig in bijna elke broekzak een goede camera zit.

Zijn latere werk gaat een compleet andere richting op: de kwantumbeeldsensor, die individuele fotonen telt. Deze ontwikkeling illustreert wat er momenteel met kunstmatige intelligentie gebeurt: het verschuift van het vastleggen van een beeld dat een persoon wellicht mooi vindt naar het vastleggen van het zuiverste signaal dat de machine kan verwerken.

De sensor wordt een waarnemingsinstrument, en fotografie is slechts één van de toepassingen ervan.

Waarom verandert redeneren de aard van het werk?

Inferentie is wat het probleem urgent maakt. Vroeger, toen AI vooral draaide om training, was de rol van de camera indirect: hij produceerde data die later, in een rustig tempo, gecategoriseerd en geanalyseerd moest worden. Inferentie is niet traag. Het gebeurt live, op een apparaat dat niet over de juiste rekenkracht beschikt en al warm wordt, zoals het geval is bij tijdgevoelige AI-toepassingen.

Wanneer een systeem iets moet herkennen terwijl de camera er nog op gericht is en moet reageren voordat het te laat is, is de zwakste schakel de laag die naar het model loopt, en die bepaalt de beperkingen van alles wat het product kan doen.

Een deel van de industrie zet nog steeds in op het verkeerde. De aanname is dat een voldoende groot model alles wat de camera aanlevert, zal opschonen. Ik heb dit al twee jaar lang productontwikkeling zien belemmeren, en ik denk niet dat het standhoudt tegen de natuurkundige wetten.

Geen enkel model, ongeacht de grootte, kan details herstellen die al verloren zijn gegaan door bewegingsonscherpte of reflecties, of details die zijn weggegooid door een bewerkingsproces dat prioriteit geeft aan schoonheid voordat het model het beeld überhaupt ziet. Het knelpunt verschuift nu naar boven, naar de sensor en wat zich tussen de sensor en het model bevindt.

Wat doen die apparaten nu precies?

Sommige sensoren voeren nu een deel van de verwerking op de chip zelf uit, waardoor de eerste berekeningen plaatsvinden voordat de data de pixelarray verlaat. Gebeurtenisgestuurde sensoren, soms neuromorfische sensoren genoemd, registreren alleen de veranderende delen van de scène, wat veel beter geschikt is voor realtime waarneming dan het streamen van volledige beelden. Globale sluiters helpen ook door bewegingsvervormingen te verminderen die de metingen van de machine kunnen beïnvloeden.

Zelfs HDR (High Dynamic Range), lange tijd ontworpen om de lucht op een indrukwekkende manier weer te geven, wordt nu opnieuw gekalibreerd om te passen bij wat het model duidelijk kan waarnemen in een hoog contrast. Ondanks hun verschillen wijzen al deze technologieën in dezelfde richting: naar een versie van de wereld die het model aankan.

Van identificatie tot conclusie

Het meest intuïtieve om te bouwen is visueel zoeken: richt de camera op iets en er verschijnt een label. Maar als je je telefoon op een menukaart richt, wil je hulp bij het kiezen van een gerecht; als je hem op een poster richt, kan het handig zijn om het evenement in je agenda op te slaan. Objectherkenning is slechts het begin. De essentie van het product ligt in het weten wat er vervolgens moet gebeuren. Hier wordt de sensor de eerste schakel in een langere keten van interpretatie, die verder gaat dan alleen het vastleggen van informatie.

Ik was nooit van plan een cameraproduct te ontwikkelen; het begon als een goedkope manier om gidsen te besparen voor één tentoonstelling. Maar dit kleine project heeft me geleerd dat dit instinct er al is. De volgende uitdaging in de camerawereld zal gaan over het complete systeem: de sensor, de beeldverwerking, de randapparatuur , de modelopmaak en wat het systeem uiteindelijk doet.

Hardwarefabrikanten hebben jarenlang gewerkt aan het verbeteren van de beeldkwaliteit en zullen de inferentiekwaliteit net zo serieus moeten nemen. Softwareontwikkelaars kunnen de opname niet als een probleem van iemand anders beschouwen: de manier waarop een signaal wordt vastgelegd en doorgestuurd, bepaalt het resultaat lang voordat de gebruiker het ziet. De oude grenzen tussen hardware en software worden minder belangrijk naarmate we dieper ingaan op realtime waarneming.

Er is hier nog steeds ruimte voor startups. Hun voordeel is de snelheid waarmee ze problemen kunnen identificeren: ze formuleren het probleem voordat de grote spelers erover hebben gediscussieerd. De effectiviteit van het algemene model wordt steeds moeilijker te verdedigen. De vraag is: wat gebeurt er als één systeem dezelfde gebeurtenis kan zien, vooruit kan denken en erop kan reageren, en wie komt daar als eerste met een volledig functioneel product?

Menselijke ogen versus machinebrein

Ik denk dat bedrijven de komende jaren in twee kampen zullen uiteenvallen: degenen die de prestaties optimaliseren voor het menselijk oog en degenen die de prestaties optimaliseren voor wat de machine moet lezen. Binnen een vlaggenschiptelefoon overlappen deze doelen nog voldoende om het verschil te vervagen.

Maar als strategie beginnen deze doelen al uiteen te lopen. De meest duurzame positie zal die zijn van degene die de chaotische werkelijkheid kan omzetten in het meest zuivere signaal waaruit de machine conclusies kan trekken.

Dit begint bij de sensor.

We hebben de beste cameratelefoons beoordeeld, geëvalueerd en gerangschikt.