Installer gratis AI-chat- og LLM-maler på PC, lokalt og offline

Du kan installere og bruke en tekstbasert AI som ChatGPT lokalt, på din PC, gratis, ved å laste ned gratis LLM-maler og programmer som Ollama eller LMStudio

Med mindre du jobber i sektoren, er kunstig intelligens i dag assosiert med ChatGPT, applikasjonen vi alle bruker til arbeid, studier eller for å gjøre enkle eksperimenter. Det som ligger bak ChatGPT er imidlertid en enorm verden i stadig utvikling, som vil kreve grundige studier og mange tekniske ferdigheter for å forstå fullt ut.
Uten å gå inn i for mye tekniske detaljer som lett kan søkes etter, ville jeg i dette innlegget dele noen ressurser for å ha ditt eget AI-verktøy på din PCog skaper derfor, uten for store problemer, en eie ChatGPT lokalt på hjemme- eller kontordatamaskinen, helt gratis og fungerer også offline.

LES OGSÅ: Bedre alternativer til ChatGPT på smarttelefon.

Kan du installere en AI som ChatGPT på PC-en din?

Før vi starter, la oss lage et forenklet megaoppsummering for å forstå hvordan AI-drevne applikasjoner som ChatGPT, den mest kjente, men bare en av de mange tilgjengelige, fungerer.
Historien begynner med konseptet LLM (Stor språkmodell), dvs. den tekstbasert AI-program. LLM, som betyr stor språkmodeller i stand til å forstå menneskelig språk og generere sammenhengende svar. LLM-er bruker dyp læringen type maskinlæring som lærer og tilegner seg nye data fra bruken.
Med andre ord, en LLM er den språklige modellen som en tekstlig kunstig intelligens er basert påmotoren under den. ChatGPT er for eksempel basert på GPT-modellsamt Microsoft Copilot, Tvillingene av Google e Grock av X på deres proprietære modeller, LamaerMeta AI-motoren (Facebook) og Google perle i stedet er de eksempler på gratis LLM-er for personlig bruk og forskning.

På LLM kan vi lese en godt laget og tilgjengelig veiledning om Cloudflare nettsted.

Uten å gå nærmere inn i teorien, er det viktige å vite at mens OpenAIs GPT er en betalt proprietær LLM (minst GPT3 og GPT4), er det andre LLM-er som Facebooks Llama, Googles Mistral og Gemma er gratis å bruke for personlige prosjekter og forskning (på siden Engelsk Wikipedia om LLM-er det er en fullstendig liste).
Hvis vi nå lurte på om det er mulig å bruke en AI som ChatGPT gratis og uten begrensninger, er svaret definitivt ja. Vi kan enkelt installere et LLM-program på din PC, Windows, Linux eller Macog bruk den fritt og gratis, som også fungerer offline, uten å koble til eksterne servere eller tjenester.

Det er mange måter å installere en AI på din PC og mange programmer som fungerer som et grensesnitt for å chatte med den kunstige intelligensen. Noen av dem er enkle og gratis, andre er mer kompliserte.
Det eneste store kravet som kreves for å bruke AI på PC-en din er anstendig maskinvare på datamaskinen, en moderne CPU og fremfor alt, 16 GB RAM og et dedikert skjermkort.
Først av alt, la oss se sammendragsvideoen

LM Studio, det enkleste

Den enkleste måten jeg har funnet for å kunne bruke AI-drevet tekstchat og en gratis LLM er ved å installere programmet LM Studio. Jeg kan ikke utelukke at det finnes enklere programmer (siden det er så mange alternativer), men la oss si at jeg var fornøyd med denne).
LMStudio er ikke åpen kildekode-programvare, så det er sjelden nevnt i de ulike guidene, men det fungerer veldig bra, er enkelt å installere og aktivere, krever ingen tilleggspakker og er klart til bruk.

Etter nedlasting og installasjon vil du bli bedt om å Last ned en LLM-mal og valget kan være Gemma, Mistral eller Llama som kan brukes fritt.
I utviklerdelen du kan laste opp den nedlastede LLM-malen til din PC og inn oppdage delen det er mulig finn nedlastbare LLM-malerinkludert Gemma 2 2B Og Lama 3.2 de anbefales også fordi de tar opp mindre diskplass.

Åpen kildekode-programmer for AI- og LLM-modeller på lokale datamaskiner

Hvis du vil ha en helt åpen kildekode-løsning, kan du installere programmet Ollamagratis. Å bruke Ollama er imidlertid litt mer komplisert. Først av alt må du laste ned kommandotolken Python på PC og installer deretter et grafisk grensesnitt.
Python krever ingen konfigurasjon, selv om du må sørge for at installasjonsbanen er lagt til PCens miljøvariabler (i Windows, se etter miljøvariabler på Start-menyen).
Via Python-kommandoen (i et Windows Terminal-vindu) kan du Last ned LLM for Ollama. Også her kan du velge modell Lamaer 3.2 eller Gemma 2 (som krever mindre RAM) eller til og med Mistral som imidlertid er større. I Ollamas Github-side det er kommandoer å starte for nedlastingen.
For å laste ned Llama 3.2, med Ollama kjørende, må du for eksempel åpne en ledetekst på Windows (eller Terminal) og skrive inn kommandoen ollama run llama3.2 .

Ollama alene er en serverapplikasjon som forblir i bakgrunnen, for å bruke chatten trenger du et grafisk grensesnitt.
Det beste grensesnittet for Ollama er Åpne Web UIsom imidlertid også krever installasjon av programmet Docker (skal startes og etterlates i bakgrunnen) og utførelsen av noen kommandoer på terminalen (forklart på prosjektsiden).
Enklere er programmer som Msty (gratis for personlig bruk), Hva som helst LLM (lett og som også inkluderer Ollama) og så også ConfyChatgratis og åpen kildekode, mer viktig og enkelt, bare last ned og start (på Windows, start filen confichat.exe).

Siden Ollama er en serverapplikasjon, sier det seg selv at det er mulig å få tilgang til AI-chatten, for eksempel ConfyChat, også via smarttelefonen ved å åpne den angitte nettsiden (vanligvis på adressen) 127.0.0.1:portnummer), så lenge smarttelefonen er koblet til det samme WiFi-nettverket som datamaskinen.

På denne måten blir det enkelt å ha en tekstbasert AI som ChatGPT. Løsninger som LM Studio er, selv om de ikke er åpen kildekode, svært effektive, spesielt på mindre kraftige PC-er. Ollama fungerer også utmerket på min PC, med 16 GB RAM og et skjermkort fra noen år tilbake ser det ikke ut til å lide av treghet.

BONUSER: Det er også en annen superenkel måte å installere en chatbot på din PC med en av de gratis LLM-modellene og det er Opera utvikler.
I denne spesielle versjonen av Opera-nettleseren for utviklere, etter å ha installert den på PC-en, kan du trykke på Aria AI-knappen på venstre sidefelt og deretter klikke på skriften øverst "Velg den lokale AI-modellenDu vil da kunne laste ned en eller flere LLM-modeller, inkludert Llama, Mistral, Gemma og Qwen, hver i forskjellige versjoner og størrelser.

Kan jeg chatte med IA LLM på en smarttelefon?

Ja, det finnes noen apper for installer LLM lokalt på Androidhvordan Privat AI eller Chatllama eller LM Lekeplasssom automatisk laster ned de letteste modellene som du kan bruke og prøve.
Det kan gjøres bedre på iPhonetakket være appen MyOllamatil en pris av 3 euro.

Hvis du vil lese flere artikler som Installer gratis AI-chat- og LLM-maler på PC, lokalt og offline, kan du besøke kategorien Android.