Hoe installeer ik de nieuwste Large Language Models (LLM's) lokaal op een Mac?

De laatste jaren zijn grote taalmodellen (Large Language Models, LLM's) steeds populairder geworden vanwege hun vermogen om mensachtige tekst te genereren en te helpen bij diverse taken. Niet alle modellen zijn open source, maar vrijwel elk groot technologiebedrijf heeft een versie die gebruikers kunnen downloaden en uitvoeren.

Het lokaal uitvoeren van deze formulieren op je Mac kan voordelen bieden, zowel op het gebied van privacy als kostenbesparing. In dit artikel onderzoeken we hoe je LLM's installeert en uitvoert met Ollama , een krachtige tool voor ontwikkelaars en beginnende gebruikers, en bespreken we enkele GUI-tools die het proces kunnen vereenvoudigen voor degenen die liever niet de macOS Terminal gebruiken.

Zo krijg je toegang tot de nieuwste AI-gestuurde tekstsjablonen van [Google], [Microsoft], [Meta] en andere AI-bedrijven zoals [Mistral] en [DeepSeek].

LLM's begrijpen: Wat betekenen de parameters?

Voordat we ingaan op het installatieproces, verduidelijken we eerst wat getallen zoals " 7B " of " 14B " betekenen in de context van LLM's. Deze getallen geven de grootte van het model weer in termen van parameters (in miljarden), oftewel de "knoppen en schakelaars" die tijdens de training worden afgesteld.

Een groter aantal parameters stelt het model in staat complexere patronen en relaties in de taal vast te leggen, wat mogelijk tot betere prestaties leidt. Het is echter belangrijk om te benadrukken dat meer parameters niet altijd betere resultaten garanderen; de kwaliteit van de trainingsdata en de beschikbare rekenkracht van het model spelen ook een belangrijke rol.

Systeem vereisten

Je moet ervoor zorgen dat je [Mac] minimaal aan de volgende specificaties voldoet:

• macOS 10.15 of hoger (macOS 13 of hoger wordt aanbevolen)
• Minimaal 8 GB RAM (16 GB of meer aanbevolen)
• 10 GB vrije opslagruimte (het minimum dat vereist is voor de kleinste modellen; geavanceerdere modellen met een maximaal aantal parameters vereisen ongeveer 700 GB).
• [Intel] multi-core processor of [Apple Silicon] processor (M2 of hoger heeft de voorkeur)

Installeer Ollama

Ollama is een open-source tool waarmee je LLM's rechtstreeks op je lokale computer kunt uitvoeren. Zo ga je aan de slag:

1. Download OllamaBezoek de website: Ollama Download de macOS-versie. Je kunt het ook installeren met [Homebrew] door het volgende commando uit te voeren: brew install ollama In uw terminal.

1. Installeer OllamaAls je het installatieprogramma hebt gedownload, dubbelklik er dan op en volg de installatiewizard. Als je Homebrew gebruikt, ga dan direct naar stap 4.

1. De volgende stap voor de installateur is simpelweg op de knop klikken. تثبيتHierbij wordt om uw beheerderswachtwoord gevraagd.

1. Voer Ollama uitOpen een terminalvenster en start Ollama als een service met behulp van de volgende opdracht: brew services start ollamaHierdoor zal Ollama beschikbaar zijn op het adres http://localhost:11434/.
2. Download en voer het model uit.Gebruik het commando ollama pull <model-name> Om een ​​sjabloon te downloaden, gebruik je de opdracht ollama run <model-name> Om het uit te voeren. Bijvoorbeeld om een ​​model uit te voeren. DeepSeek-R1, gebruik het commando ollama pull deepseek-r1 Gevolgd door de bestelling ollama run deepseek-r1.
3. Om een ​​grotere versie van de sjabloon te downloaden, voegt u eenvoudigweg twee verticale puntjes toe, gevolgd door de gewenste afmeting. Bijvoorbeeld: om een ​​sjabloon te downloaden 14B DeepSeekJe gebruikt het commando ollama ren deepseek-r1:14bOp de Ollama-website kunt u op een van de formulieren klikken, waarna alle verschillende commando's voor elke versie worden weergegeven.

De volledige lijst met Ollama-formulieren vindt u hier. U kunt ook de tweede opdracht gebruiken zoals hierboven beschreven; als het programma nog niet is geïnstalleerd, wordt eerst het formulier gedownload en vervolgens uitgevoerd.

Nu je de drie pijlen in een rechte hoek ziet (>>>), kun je commando's in het formulier typen.

Dat is alles! Je kunt nu lokaal communiceren met je AI LLM zonder je zorgen te maken over kosten, overmatig gebruik of dat anderen kunnen lezen wat je schrijft. Dit is ideaal als je gevoelige of persoonlijke onderwerpen met een AI LLM wilt bespreken, maar niet wilt dat een groot technologiebedrijf je gedachten leest.

Het gebruik van grafische gebruikersinterfacetools met Ollama

Hoewel Ollama krachtig en efficiënt is voor ontwikkelaars, geven sommige gebruikers wellicht de voorkeur aan een grafische gebruikersinterface (GUI) voor interactie met LLM's. Hieronder vindt u enkele tools die een GUI-frontend voor Ollama kunnen bieden:

• • • Ollama GUIDit is een gratis en open-source applicatie voor macOS-gebruikers, gebouwd met SwiftUI. Het biedt een prachtige interface en is een uitstekende optie voor wie lokaal toegang wil tot LLM-formulieren zonder de terminal te gebruiken.
    • Ollama UIEen eenvoudige, op HTML gebaseerde webinterface waarmee u formulieren rechtstreeks in uw browser kunt definiëren en bewerken. Er is ook een Chrome-extensie beschikbaar voor gemakkelijke toegang.
    • Chatbox-AIDit is de eenvoudigste optie voor beginners, en ik zal hieronder uitleggen hoe je het gebruikt. Houd er rekening mee dat je de Chatbox AI-service niet nodig hebt. Dit is een abonnement waarmee je toegang krijgt tot alle LLM-sjablonen zonder Ollama zelf te hoeven installeren.

Om de beste Chatbox AI-interface te gebruiken, ga je naar de downloadpagina en download je de versie voor je Mac.

Open vervolgens het installatieprogramma en start het programma. Op het eerste scherm verschijnt een pop-upvenster waarin u wordt gevraagd hoe u Chatbox AI wilt gebruiken.

Je moet op de knop ' Mijn eigen API-sleutel / lokaal model gebruiken' klikken.

Selecteer vervolgens Ollama API als leverancier van het AI-model.

Chatbox AI zou automatisch moeten detecteren dat Ollama actief is en de API-host instellen op de standaardwaarde, namelijk het loopback-IP-adres en poortnummer 11434. Je hoeft hier niets te wijzigen. In het formulier zou je de formulieren moeten zien die je eerder via Terminal hebt geïnstalleerd. In mijn geval is dat het llama 3.2 -formulier.

Ga terug naar het startscherm van de app, tik op 'Just chat' of 'New Chat' en zorg ervoor dat de juiste sjabloon rechtsonder is geselecteerd. Je kunt de sjabloon op elk moment wijzigen, maar ik raad aan om voor elke sjabloon die je gebruikt een nieuwe chat aan te maken, zodat je de verschillen gemakkelijk kunt zien.

Alternatieve tools voor het lokaal uitvoeren van LLM-modellen

Als je op zoek bent naar alternatieven voor Ollama of liever vanaf het begin een gebruiksvriendelijkere ervaring wilt, is LM Studio een uitstekende optie. Het biedt een gebruiksvriendelijke interface voor het verkennen en gebruiken van verschillende AI-modellen, waardoor je ze gemakkelijk kunt downloaden en uitvoeren. LM Studio is beschikbaar voor Linux, Mac en Windows en biedt functies zoals het aanpassen van modelparameters en chatgeschiedenis. Het is momenteel gratis, daarom raad ik het aan boven de abonnementsdienst Chatbox AI.

Conclusie

Het lokaal uitvoeren van grote taalmodellen (LLM's) op je Mac is belangrijk voor iedereen die meer controle wil over zijn AI-toepassingen en prioriteit wil geven aan gegevensprivacy. Met tools zoals Ollama en de eerder genoemde grafische interfaces, waarmee je LLM's eenvoudig in je workflow kunt integreren, kun je op een veilige manier nieuwe mogelijkheden voor productiviteit en creativiteit ontsluiten.

Het opzetten van een lokale LLM-implementatie vereist echter wel enig inzicht in de parameters en hoe deze de prestaties van de modellen op uw specifieke machine beïnvloeden. De beste manier om dit te leren is door te experimenteren met verschillende modellen om te zien welke de beste resultaten opleveren. Zodra u dit concept begrijpt, kunt u betere beslissingen nemen over welke modellen u moet gebruiken en hoe u hun prestaties kunt optimaliseren om aan uw specifieke behoeften te voldoen.