De implementatie van kunstmatige intelligentie in organisaties: wat onthullen gebruiksstatistieken?

Veel publieke discussies over kunstmatige intelligentie draaien nog steeds om ranglijsten: welk model scoort het hoogst, welke aanbieder is de "winnaar" en welke benchmarkscore is het belangrijkst. Maar voor organisaties die daadwerkelijk AI-oplossingen ontwikkelen en implementeren, worden deze vragen steeds minder relevant. Het gaat er steeds meer om te begrijpen hoe AI in de praktijk wordt gebruikt.

Een van de redenen is de groeiende controverse rond het concept "tokenmaxxing" – een praktijk die gericht is op het maximaliseren van het gebruik van kunstmatige intelligentie, vaak gedreven door interne adoptiedoelen, stimulansen of op ranglijsten gebaseerde competitie.

Maar de focus op tokenverbruik kan leiden tot activiteiten omwille van de activiteiten zelf, in plaats van het meten van de werkelijke commerciële waarde die kunstmatige intelligentie biedt.

Recente voorbeelden, waaronder berichten over Amazon dat een intern AI-klassement heeft stopgezet en Uber dat de AI-uitgaven van zijn werknemers heeft beperkt nadat het jaarlijkse budget snel was opgebruikt, benadrukken de risico's van het beschouwen van gebruik als de belangrijkste maatstaf voor succes.

De meest recente gegevens schetsen echter een genuanceerder beeld. Volgens de AI Gateway-gegevens van Vercel voor juli is het tokenvolume in juni met 29% gestegen, terwijl de uitgaven met 27% toenamen en de gemiddelde tokenprijs stabiel bleef. Organisaties nemen AI niet langer zomaar in gebruik, maar gaan bewuster na waar ze verschillende modellen inzetten en hoe ze de kosten en prestaties in balans brengen.

Teams die echte AI-systemen bouwen, kiezen steeds vaker voor een dynamische routering van taken over meerdere modellen, afhankelijk van kosten, betrouwbaarheid en inferentiemogelijkheden. Een goedkoop model kan bijvoorbeeld nuttig zijn voor het samenvatten van taken, terwijl een krachtig inferentiemodel is gereserveerd voor belangrijke beslissingen.

In de praktijk draait kunstmatige intelligentie meer om het coördineren van verschillende lagen binnen meerdere modellen dan om het bouwen van systemen rondom één enkele leverancier.

De meest recente gegevens van AI Gateway laten zien dat organisaties hun werklast verdelen over verschillende modelcategorieën in plaats van te vertrouwen op één enkele aanbieder. Open-weight modellen verwerken nu 29% van de gateway-tokens, terwijl ze minder dan 4% van de uitgaven vertegenwoordigen. Frontier-modellen blijven de boventoon voeren bij waardevollere inferentietaken.

In plaats van een uniforme aanpak te hanteren, kiezen organisaties verschillende modellen afhankelijk van de betreffende taak.

De top van de hitlijsten overtreffen

In de beginfase van de AI-implementatie binnen bedrijven werden teams aangemoedigd om volop te experimenteren, prototypes te ontwikkelen en nieuwe toepassingsmogelijkheden te verkennen. Dit hielp de implementatie te versnellen, wat vereist dat AI van de experimentele fase naar de praktische toepassing overgaat, maar het creëerde ook een simplistische aanname: dat meer AI automatisch meer waarde betekent.

Het tokenvolume en de bestedingen stegen in juni met ongeveer 30%; de gemiddelde tokenprijs bleef echter stabiel. Organisaties blijven fors investeren in AI, maar worden strategischer in de manier waarop ze workloads verdelen tussen goedkope en premium modellen.

Dit patroon weerspiegelt eerdere technologische verschuivingen, zoals het begin van het cloudcomputingtijdperk, waarin bedrijven agressief uitbreidden voordat ze hun efficiëntie verbeterden. De adoptie van AI volgt een vergelijkbaar traject, maar in een veel sneller tempo.

Voor AI-teams is de meest bruikbare maatstaf voor AI niet de kosten, maar de resultaten, die de basis vormen voor AI-succes . Een workflow die weken aan engineeringwerk automatiseert, kan veel efficiënter zijn dan een goedkopere workflow die onbetrouwbare resultaten oplevert en vervolgens operationele kosten genereert die de initiële besparingen tenietdoen.

De vraag is niet hoe weinig kunstmatige intelligentie het team kan gebruiken, maar hoe effectief deze kan worden ingezet om belangrijke problemen op te lossen.

Kunstmatige intelligentie verandert de werkdruk.

Traditionele chatbots werken met relatief eenvoudige workflows: voer een commando in en ontvang een antwoord. Agentsystemen, die in wezen slimmere AI-agenten zijn , gedragen zich heel anders.

AI-agenten denken, roepen tools aan, voeren code uit, halen informatie op, raadplegen databases en herhalen bewerkingen in meerdere stappen voordat de taak is voltooid. Elk van deze acties verbruikt tokens.

Als gevolg hiervan worden AI-taken steeds vaker agentgestuurd. Een enkele aanvraag kan nu een reeks toolaanroepen, validatielussen en providerwisselingen op de achtergrond met zich meebrengen, waardoor de economische aspecten volledig veranderen.

Backoffice-medewerkers zijn de duurste tokens per portal, goed voor 5% van het totale aantal tokens, maar 14% van de totale uitgaven. Complexere en bedrijfskritische taken vereisen meer inferentie dan eenvoudigere AI-taken.

Dit betekent dat een toegenomen gebruik niet altijd een teken van inefficiëntie is. In veel gevallen weerspiegelt het de groeiende complexiteit en mogelijkheden van de AI-systemen zelf.

Infrastructuur als onderscheidende factor

Naarmate organisaties steeds meer afhankelijk worden van meerdere AI-modellen en serviceproviders, wordt het waarborgen van de betrouwbaarheid een complexere taak.

Inferentietaken, workflows met meerdere agenten en complexe coördinatieketens kunnen een aanzienlijke belasting vormen voor modelaanbieders. Als een enkel model halverwege de uitvoering uitvalt, kan de hele workflow instorten.

Als gevolg hiervan is fallback-routing een essentieel onderdeel geworden van de AI-infrastructuur in productieomgevingen. Uit het AI Gateway-rapport van Vercel uit mei bleek dat ongeveer 3.5% van de verzoeken omgeleid moet worden vanwege fouten, time-outs of problemen met de snelheidsbepaling.

Zonder dynamische routering tussen serviceproviders zullen die verzoeken simpelweg mislukken. En voor eindgebruikers is de instabiliteit van de serviceprovider onzichtbaar; ze geven niet om de oorzaak van het probleem, alleen of de applicatie blijft functioneren.

Naarmate AI-systemen steeds beter in staat zijn om als onafhankelijke agenten te functioneren, worden flexibiliteit en coördinatie net zo belangrijk als de capaciteiten van het model zelf. Dit onderstreept het belang van de verschuiving binnen AI naar slimmere agenten.

Het einde van het tijdperk van één model

Strategieën die gebaseerd zijn op één enkele dienstverlener zijn steeds moeilijker vol te houden. Er komen voortdurend nieuwe modellen op de markt, prijzen veranderen snel en verschillende modellen presteren beter, afhankelijk van het type taak.

Het beste programmeermodel van vandaag is mogelijk niet het beste voor taken zoals informatieopvraging, klantenservice of inferentieprocessen van morgen.

Het gaat er niet om één model als enige winnaar aan te wijzen. Het gaat erom AI-systemen te bouwen die zich kunnen aanpassen en het beste model van elke week kunnen overnemen, omdat deze voorkeur snel verandert en zal blijven veranderen.

Teams die multi-model formatteren als een infrastructuur beschouwen, hoeven hun systemen niet opnieuw op te bouwen bij de lancering van een nieuw model.