Hoe u Ollama installeert en gebruikt om grote taalmodellen (LLM's) op uw Windows 11-computer uit te voeren

De meest voorkomende manier waarop de meesten van ons tegenwoordig met kunstmatige intelligentie in aanraking komen, is via cloudgebaseerde tools zoals ChatGPT of Copilot . Deze tools vereisen een internetverbinding, maar het voordeel is dat ze op vrijwel elk apparaat te gebruiken zijn.

Maar niet iedereen, en zeker niet ontwikkelaars, wil voor AI-toepassingen vertrouwen op de cloud. Daarom wilt u dat uw grote taalmodel (LLM) lokaal op uw machine draait. Hier komt Ollama om de hoek kijken.

Ollama is een inferentietool waarmee je een breed scala aan grote taalmodellen (LLM's) native op je computer kunt uitvoeren. Het is niet de enige manier om dit te doen, maar het is wel een van de eenvoudigste en meest overzichtelijke. Met Ollama kun je de kracht van AI benutten zonder dat je een constante internetverbinding nodig hebt, waardoor je volledige controle hebt over je gegevens en privacy.

Zodra je aan de slag bent, kun je veel doen met Ollama en de grote taalmodellen (LLM's) die het gebruikt, maar de eerste stap is de installatie. Laten we je stap voor stap door dit proces leiden, zodat je deze krachtige tool optimaal kunt benutten.

Ollama-systeemvereisten

Het draaien van Ollama zelf verbruikt niet veel systeembronnen en kan op een breed scala aan apparaten worden uitgevoerd. Het is compatibel met Windows 11, macOS en Linux. Je kunt het zelfs gebruiken vanaf je Linux-distributies binnen Windows 11 via WSL.

Maar het uitvoeren van grote taalmodellen (LLM's) vereist zelf krachtigere hardware. Hoe groter het model, hoe meer rekenkracht je nodig hebt. Deze modellen vereisen een grafische verwerkingseenheid (GPU). Momenteel zijn ze niet geoptimaliseerd voor de neurale verwerkingseenheid (NPU) in de nieuwe Copilot+ pc's.

Gelukkig zijn er kleine modellen die je op bescheiden hardware kunt gebruiken. Zo heeft Google's Gemma 3-model een model met 1 miljard parameters dat slechts 2.3 GB visueel random access memory (VRAM) nodig heeft om het volledige model uit te voeren. Dit aantal loopt op tot meer dan 9 GB VRAM als je overstapt naar het model met 4 miljard parameters.

Hetzelfde geldt voor Meta's Llama 3.2, waar het model met 1 miljard parameters een GPU met slechts 4 GB VRAM vereist om succesvol te draaien. Dit neemt vervolgens toe tot 8 GB voor het model met 3 miljard parameters.

Kortom, als u over een relatief moderne computer met minimaal 8 GB RAM en een speciale GPU beschikt, kunt u waarschijnlijk wel wat voordeel halen uit Ollama.

Ollama-installatiehandleiding op Windows 11

Het installeren van Ollama op Windows 11 is een zeer eenvoudig proces. Je hoeft alleen maar het installatieprogramma te downloaden van de officiële website of de GitHub-repository en het vervolgens op je apparaat te installeren.

Dit zijn de eenvoudige stappen.

Na installatie en lancering verschijnt er niets op uw bureaublad. Het programma draait volledig op de achtergrond, maar u kunt het pictogram ervan wel zien in de taakbalk.

Om te controleren of het programma correct werkt, kunt u in uw webbrowser naar het adres localhost:11434 gaan.

Installeer en voer uw eerste grote taalmodel (LLM) uit op Ollama

Om je eerste grote taalmodel (LLM) met Ollama uit te voeren, zul je voornamelijk de opdrachtregelinterface (CLI) moeten gebruiken. Open PowerShell op Windows of gebruik WSL als je Ollama daarop hebt geïnstalleerd.

Hoewel er grafische gebruikersinterfaces (GUI's) voor Ollama bestaan, concentreren we ons hier op het gebruik van de opdrachtregel. Het is handig als je vertrouwd bent met het gebruik van de CLI.

De twee belangrijkste dingen die u moet weten zijn:

loop

zet het

Als u Ollama vraagt ​​een LLM-formulier uit te voeren dat nog niet is geïnstalleerd, zal het dit automatisch eerst downloaden en uitvoeren. U kunt de juiste namen van de grote taalformulieren die u wilt installeren eenvoudig vinden op de Ollama-website.

Om bijvoorbeeld het Google Gemma 3 LLM-model met 1 miljard parameters te installeren en uit te voeren, voert u de volgende opdracht in:

ollama run Gemma:1b

Let op: door `:1b` achter de naam te plaatsen, geef je aan dat je het model met 1 miljard parameters wilt. Als je het model met 4 miljard parameters wilt, verander je dit in `:4b`.

Als u formulieren op uw terminal uitvoert, wordt een vertrouwde chatbot-ervaring geopend, waarin u uw vragen kunt schrijven en reacties kunt ontvangen. Dit alles wordt lokaal op uw apparaat uitgevoerd.

Om het formulier te verlaten en terug te keren naar PowerShell, typt u eenvoudig **/bye**. Het proces wordt dan beëindigd.

Dit behandelt de absolute basisprincipes voor het installeren van Ollama op je computer, zodat je de beschikbare LLM's kunt gebruiken. De basiservaring is heel eenvoudig en gebruiksvriendelijk, en vereist vrijwel geen technische kennis. Als ik het kan, kun jij het ook!