Perplexity: Een lokale AI-computer die toestemming vraagt ​​voordat er verbinding met de cloud wordt gemaakt.

De meeste AI- assistenten vereisen dat je je vragen, bestanden en andere gegevens naar servers van derden stuurt. Maar de nieuwe Portable Computer van Perplexity gooit dat concept volledig om, door het hele AI-systeem op je eigen apparaten te laten draaien.

De draagbare computer werd dinsdag aangekondigd en brengt Perplexity's slimme computerplatform naar de Nvidia DGX Spark en andere Linux-apparaten met compatibele Nvidia-videokaarten.

Het bedrijf merkt op dat elke taak op uw apparaat begint. Als het lokale model een stap bereikt die een complexere redenering vereist, vraagt ​​Portable Computer toestemming voordat die specifieke stap naar een geavanceerd model in de cloud wordt verzonden. Het antwoord wordt vervolgens teruggestuurd naar de lokale workflow, terwijl bestanden en andere gevoelige informatie op het apparaat kunnen blijven staan.

Dit maakt het aantrekkelijk voor iedereen die een gebruiksvriendelijke AI-agent wil zonder automatisch alles wat deze afhandelt uit te besteden aan een cloudserviceprovider.

Er is echter wel een nadeel, en dat is behoorlijk duur.

Meer dan alleen een lokaal geïnstalleerde chatbot

Je kunt al open-source templates downloaden en uitvoeren op je computer. Maar de uitdaging is om van zo'n template een AI-agent te maken die met bestanden kan werken, tools kan gebruiken en een taak in meerdere stappen kan voltooien.

Dit houdt doorgaans in dat u een inferentie-engine moet vinden en configureren, en dat u de agent-harness, een sandbox en alle benodigde connectoren voor toegang tot externe applicaties moet aansluiten. U bent er ook verantwoordelijk voor dat al deze componenten goed samenwerken.

Een draagbare computer combineert deze componenten in één systeem. Het omvat het lokale model, de inferentiemotor, proxytools, applicatieconnectoren en een geïsoleerde omgeving (sandbox) waarin code kan worden uitgevoerd en tools kunnen worden gebruikt.

Kunstmatige intelligentie kan bestanden op je computer verwerken, pdf's lezen, shell-opdrachten uitvoeren, dicteren en op het web zoeken. Gebruikers kunnen ook services zoals Google Drive, Gmail, Slack en GitHub integreren.

Volgens Perplexity worden de code en tools gebruikt binnen een lokale sandbox-omgeving. Dit zorgt voor enige scheiding tussen de AI-agent en de rest van de machine, hoewel ik graag meer details zou willen over waartoe de agent precies toegang heeft en hoe die toegangsrechten worden beheerd.

Hij weet wanneer hij om hulp moet vragen.

Hybride routing is misschien wel het meest interessante onderdeel van een draagbare computer.

Een kleiner, lokaal model kan volstaan ​​om een ​​bestand te lokaliseren, informatie uit een PDF te halen of een reeks eenvoudige stappen uit te voeren. Het is echter minder waarschijnlijk dat het de inferentiemogelijkheden van grotere modellen van OpenAI , Anthropic of Google evenaart.

De oplossing van Perplexity is om de taak lokaal te laten totdat het model iets tegenkomt dat het niet betrouwbaar kan afhandelen. Dan kan de draagbare computer vragen of die stap naar een cloudgebaseerd model kan worden doorgestuurd.

Gebruikers hoeven geen privacyinstellingen te definiëren of hun eigen routeringsregels te maken. Het systeem neemt de beslissing tijdens het werk, maar de gebruiker moet de overdracht nog steeds goedkeuren. Een AI-systeem dat zogenaamd lokaal is, wordt veel minder privé als het stilletjes terugkeert naar de cloud wanneer de taak te complex wordt. Om meer te weten te komen over hoe u uw persoonlijke gegevens kunt beschermen, kunt u onze vergelijking van het privacybeleid van ChatGPT, Gemini, Cloud en Perplexity bekijken.

Perplexity merkt ook op dat lokaal uitgevoerde werkzaamheden geen invloed hebben op het factuursaldo. Alleen het gedeelte dat naar de cloud wordt verzonden, telt mee voor het cloudgebruik.

Bij de lancering kunnen gebruikers kiezen tussen het Qwen-model met 27 miljard parameters of een later getrainde, eigen versie van Perplexity, genaamd PPLX 27B. Naar verwachting zal Nvidia's Nemotron 3.5 Lightning-model hierop volgen. Gebruikers kunnen ook hun eigen model en inferentieserver gebruiken.

Het probleem zit hem in de apparatuur.

Portable Computer werkt mogelijk wel op uw computer, maar niet op elke computer.

De software wordt in eerste instantie uitgebracht voor Linux en vereist Nvidia-hardware met minimaal 24 GB VRAM. Het ondersteunt de desktopversie van de Nvidia DGX Spark, evenals compatibele computers die DGX OS of Ubuntu draaien op ARM- of x64-hardware.

Ondersteuning voor Windows wordt naar verwachting in september toegevoegd. Perplexity heeft nog geen ondersteuning voor macOS aangekondigd.

Draagbare computers zullen beschikbaar zijn voor abonnees van Perplexity Pro, Max, Enterprise Pro en Enterprise Max. Zelfs met een compatibel abonnement zullen de meeste mensen niet over de benodigde hardware beschikken.

Dit maakt deze eerste release relevanter voor AI-enthousiasten, ontwikkelaars en bedrijven die al beschikken over krachtige Nvidia-systemen, in vergelijking met iemand die moet kiezen tussen ChatGPT en Perplexity op een gewone laptop.

Het onderliggende idee zou echter een veel breder publiek kunnen bereiken. AI-assistenten krijgen toegang tot steeds meer persoonlijke informatie, waaronder e-mails, werkdocumenten en bestanden die op onze apparaten zijn opgeslagen. Door Plus lokaal te gebruiken, krijgen gebruikers een extra manier om te bepalen wat er van hun apparaten wordt verwijderd en wanneer.

De draagbare computer is voor de meeste mensen nog niet klaar om een ​​cloudgebaseerde chatbot te vervangen. Het geeft echter wel een voorproefje van hoe een meer gepersonaliseerde AI-assistent eruit zou kunnen zien zodra de benodigde hardware betaalbaar wordt.