Sinds zijn debuut heeft Gemini 3 consequent zijn positie aan de top van het LMArena-klassement behouden . Dit klassement is een collectieve ranglijst waarin duizenden echte gebruikers AI- modellen rechtstreeks met elkaar vergelijken voor een breed scala aan taken en stemmen op het beste resultaat. Maar als het gaat om het behalen van de strengste inferentiecriteria, is er een nieuwe rijzende ster opgestaan die Google al heeft overtroffen – en dat zonder een eigen model te trainen.
Een startup met zes medewerkers, genaamd Poetiq, zegt de eerste plaats te hebben behaald in een semi-privé ARC-AGI-2-testsuite , een extreem moeilijke inferentie-uitdaging ontwikkeld door AI-onderzoeker François Chollet. Het systeem van de startup behaalde een score van 54 procent, waarmee het de eerder door Google gerapporteerde score van ongeveer 45 procent voor Gemini 3 Deep Think overtrof.
Om dat in perspectief te plaatsen: de meeste AI-modellen scoorden zes maanden geleden nog onder de 5 procent op deze benchmark. Onderzoekers gingen er algemeen van uit dat het jaren zou duren om de 50 procent te doorbreken.
En het meest verrassende: de doorbraak van Poetiq werd niet ondersteund door een nieuw grensverleggend model, maar door een slimmere manier om bestaande modellen te organiseren.
Hoe heeft Poetiq dit voor elkaar gekregen?
In plaats van een enorme converter helemaal vanaf nul te bouwen, ontwikkelde Poetiq wat zij een metasysteem noemen; in wezen een AI-controller die de output van elk model dat erop wordt aangesloten, overziet, beoordeelt en verbetert. Voor hun ARC-AGI-2-project gebruikte het team de Gemini 3 Pro als basismodel.
Poetiq beschrijft het systeem als een strak gecontroleerde optimalisatielus: Creëren > Kritiek geven > Verbeteren > Controleren.
Dit maakt het zo bijzonder:
- Geen omscholing vereist: Het systeem past zich binnen enkele uren aan nieuwe modellen aan.
- Het is volledig gebaseerd op grote, kant-en-klare taalmodellen: Geen aangepaste bewerking mogelijk
- lagere prijs of goedkoper: Google's DeepThink kost naar verluidt 77 dollar per taak; het systeem van Poetiq kost ongeveer 30 dollar.
- Open source: De oplossing is openbaar beschikbaar en verifieerbaar.
- Zelfcontrole: Het systeem evalueert zijn eigen antwoorden voordat het het eindresultaat teruggeeft.
Op de website van het bedrijf zegt het Poetiq-team dat deze aanpak werkt door Plus te onttrekken aan de inferentiekracht van bestaande, grote taalmodellen – en niet door de rekenkracht op brute wijze op te schalen.
Waarom is de ARC-AGI-2-test belangrijk?
Terwijl de meeste gestandaardiseerde tests beperkte vaardigheden meten, zoals programmeren of wiskunde, is ARC-AGI-2 ontworpen om iets diepers te testen: patroonherkenning, meten, abstract redeneren en het soort generalisatie dat mensen in hun vroege jeugd leren.
Het is opzettelijk moeilijk en opmerkelijk onvriendelijk voor de huidige grote taalmodellen (LLM's). Zelfs veel geavanceerde modellen falen er spectaculair in.
Om die reden was de sprong van een percentage van minder dan tien procent naar 54 procent in een half jaar tijd verrassend. Dit duidt op vooruitgang in de inferentiemethoden, en niet alleen op de omvang van het oorspronkelijke model.
Het Poetiq-resultaat is echter specifiek van toepassing op de semi-privé testgroep, die niet volledig openbaar toegankelijk is. Op de website van het bedrijf staat dat het resultaat is gevalideerd door de benchmarkorganisatie, maar onafhankelijke replicatie door derden is nog in behandeling. Dit is significant voor een benchmarktest met een dergelijke impact.
De volgende doorbraak komt wellicht niet van grotere modellen, zoals het werk van Poetiq aantoont aan een groeiende trend in kunstmatige intelligentie: vooruitgang vereist niet altijd miljarden dollars aan infrastructuur of een enorm onderzoekslaboratorium.
Als dergelijke systemen erin slagen verder te gaan dan standaardparameters en planning, programmering, onderzoek of zelfs besluitvorming in de praktijk te omvatten, zouden ze de ontwikkeling van kunstmatige intelligentie radicaal kunnen veranderen. In plaats van te wachten op de volgende supercomputer, zouden bedrijven zich kunnen richten op het bouwen van samengestelde intelligentie die de huidige modellen slimmer, goedkoper en consistenter maakt.
Conclusie
Poetiq heeft een open-source oplossing voor ARC-AGI uitgebracht, zodat onderzoekers de resultaten ervan kunnen testen, uitbreiden of zelfs ter discussie stellen. De standaard bevat een verborgen testset, en de praktijk wijst uit dat de resultaten kunnen veranderen zodra een aanzienlijk aantal mensen onafhankelijke beoordelingen uitvoert.
Als de cijfers van Poetiq kloppen, zou dit een keerpunt kunnen betekenen in het onderzoek naar AI-inferentie. Een team van zes heeft mogelijk aangetoond dat modelorganisatie kan wedijveren met, of zelfs beter kan presteren dan, het trainen van veel grotere modellen. Poetiq heeft bewezen dat je geen gigantisch lab nodig hebt om te winnen.
Reacties zijn gesloten.