Bearbeide konfidensielle filer gjennom AI, privat på PC

Kunstig intelligens i arbeidslivet reiser bekymringer om dataprivacy. Å kjøre språkmodeller lokalt på PC-er sikrer konfidensialitet ved å unngå opplasting av sensitive data til eksterne servere.

Ett av de store problemene med bruk av kunstig intelligens i arbeidslivet er dataprivacy. I ingen kontor eller bedrift vil det noen gang være tillatt å laste opp sensitive eller private data for å la dem bli behandlet av Google eller ChatGPT.

Å laste opp en bedriftsrapport eller en pasientjournal til serverne til multinasjonale teknologiselskaper er som å overlevere konfidensiell informasjon til totalt fremmede. De store plattformene trener kontinuerlig algoritmene på tekstene som brukerne legger inn. Hver kommando som skrives eller tekst som limes inn, blir potensielt offentlig materiale som systemene trekker fra for å generere svar. Det finnes et konkret alternativ for yrkesutøvere som må beskytte sensitive data for juridiske forpliktelser eller for å bevare forretningshemmeligheter. Å kjøre avanserte språkmodeller direkte på egen PC lar deg overvinne dette problemet og oppsummere samt stille spørsmål om dokumenter uten behov for internettforbindelse.

Problemet med fjernbehandling på bedriftsservere

De fleste av oss ignorerer tjenestevilkårene til de mest populære chattetjenestene. Når man sender en PDF-fil til en kommersiell kunstig intelligens, blir dokumentet pakket ut, overført og behandlet på maskiner som ligger på fjerne kontinenter. Flere store selskaper har strengt forbudt bruken av disse verktøyene for sine ansatte etter å ha oppdaget lekkasjer av kildekode og utilsiktet avsløring av interne strategier.

Lokal behandling flytter beregningsmotoren helt til harddisken på den brukt maskinen. Filene forlater aldri rummet hvor man befinner seg, noe som sikrer strålende overholdelse av gjeldende personvernlovgivning.

Maskinvarekrav for å kjøre algoritmer offline

Å få et språkmodell til å fungere på egen datamaskin krever tilstrekkelige systemressurser. Arbeidsminnet er den livsviktige parameteren for å unngå hang på operativsystemet. Å håndtere moderne algoritmer krever minst seksten gigabyte RAM, selv om tretti-to nå er det optimale standarden for å unngå oppbremsing.

For å motta umiddelbare svar kreves det et dedikert grafikkort med rikelig VRAM, eller en prosessor med en nyeste generasjons NPU-nevralenhet.

Ved å bruke utdaterte maskiner eller vanlige PC-er uten grafikkakselerasjon, vil beregningene legge et stort press på sentralprosessoren. Analysen vil gå meget sakte, og vil returnere ett ord av gangen, og selv om sikkerheten til det analyserte materialet forblir beskyttet, vil det være en prøvelse. Dette er kanskje det største problemet for dem som bruker bedrifts-PC-er som ofte er gamle eller dårlige; man bør overbevise de som betaler om å investere i maskinvare!

De beste programmene for å stille spørsmål om private dokumenter

Det har dukket opp dusinvis av applikasjoner designet spesifikt for å laste ned og kjøre åpne modeller. De lar deg omforme en vanlig bærbar PC til en sikker server på bare noen få trinn.

LM Studio tilbyr det reneste grensesnittet for å laste ned språkmodeller tilpasset egen maskinvare. Gjennom en innebygd søkebar finner man ønsket element og starter det umiddelbart. Den sidepanelet viser minneforbruket i sanntid og lar deg balansere arbeidsbelastningen mellom hovedprosessoren og grafikkortet uten å måtte skrive kode.

GPT4All er laget med et spesifikt mål for å få tekstbehandling til å fungere på maskiner uten ekstrem grafisk kraft. Den optimaliserer de enkelte matematiske operasjonene for ikke å legge for mye press på de interne komponentene. Den inkluderer en innebygd funksjon for å laste opp hele lokale mapper med bedriftsdokumenter som skal inspiseres.

AnythingLLM representerer et absolutt referansepunkt for massiv dokumentanalyse. Den er basert på tekstindekseringsteknologi for å tvinge algoritmen til å svare utelukkende basert på kildene gitt av brukeren. Den lar deg organisere filene i tydelig adskilte arbeidsområder.

Ved å laste opp manualene på ett sted og fakturaene på et annet, vil ikke dataene noen gang bli krysset eller forvirret.

ChatRTX er det offisielle verktøyet utgitt av Nvidia for eiere av nyere grafikkort. Applikasjonen utnytter kraften til proprietære maskinvarekomponenter for å lese enorme kataloger med tekstdokumenter. Den returnerer sammendrag og utdrag i en hastighet som knapt kan replikeres med andre gratisprogrammer.

For advokatfirmaer og store selskaper finnes det en overlegen løsning som krever en liten konfigurasjonsinnsats.Består den mest kraftfulle metoden i å installere Ollama som en stille motor som kjører på PC-en, og supplere med Open WebUI som grafisk grensesnitt i nettleseren. Dette økosystemet gjør det mulig å opprette brukerkontoer beskyttet med passord, dele tilgang i lokalt nettverk mellom kolleger og importere strenge atferdsprosedyrer. Man oppnår granulær kontroll over hele IT-arkitekturen og eliminerer eventuelle månedlige abonnementer.

Å laste ned styringsprogrammet er bare halve jobben. Den virkelige motoren i systemet er språkmodellen filen, som kan lastes ned gratis, men må velges med ekstrem forsiktighet basert på tilgjengelig RAM og algoritmens evne til å forstå italiensk uten dårlige oversettelser.

De mest presise språkmodellene for å analysere dokumenter på italiensk

Forkortelsen GGUF indikerer det komprimerte formatet for disse filene, designet for å ta mindre plass på harddisken og kjøre smidig selv på hjemme-PC-er. Når man leter etter filer i de integrerte bibliotekene i programmene, bør man alltid sikte mot optimaliserte versjoner med denne utvidelsen.

Llama 3.1 (versjon 8B). Utviklet av Meta, er det obligatorisk utgangspunkt. Versjonen med åtte milliarder parametere veier cirka fem gigabyte, passer perfekt inn i seksten gigabyte RAM og tilbyr en feilfri beherskelse av italiensk. Den støtter et enormt kontekstvindu, noe som gjør at man kan lime inn titalls sider med tekst i en enkelt forespørsel uten at systemet mister informasjon.

Qwen 2.5 (versjon 7B eller 14B). Denne modellen overgår ofte vestlige rivaler i ren logikk og dataanalyse. For kolonnedata, som regnskap eller regneark, trekker den ut tabeller og numeriske data med høy presisjon. Versjonen med fjorten milliarder parametere krever et moderne grafikkort, men gir svar som kan sammenlignes med betalte skyløsninger.

Gemma 2 (versjon 9B). Utgitt av Google (men open source og ikke knyttet til Gemini), utnytter den høyytelsesarkitekturen ved å redusere vekten for lokal bruk. Den er ekstremt streng i svarene, og nekter å lage data hvis ikke det finnes i det oppgitte dokumentet. Krever noe høyere spesifikasjoner enn Llama for å fungere uten rykk, men garanterer en solid konsistens på formelle dokumenter.

Phi-3.5 Mini (eller den påfølgende iterasjonen Phi-4). Microsofts løsning for eldre datamaskiner eller bærbare maskiner uten dedikert grafikkort. Veier mindre enn fire gigabyte og fokuserer på logisk resonnement. Italiensk kan virke litt mer mekanisk, men tillater oppsummering av lange kontrakter selv på eldre maskiner.

Den usynlige indekseringsmotoren for søk på PDF-er

Å spørre et arkiv med hundre filer lokalt krever et avgjørende trinn som ofte blir oversett av overfladiske guider. Avanserte programmer som AnythingLLM eller grensesnittet Open WebUI bruker to separate algoritmer som arbeider i tandem; en for å behandle språket og en annen for å lese og fysisk katalogisere sidene.

For å maksimere presisjonen og aldri la analysen avspore, hemmeligheten.

Består i å laste ned en dedikert embedding-mal i stedet for å stole på den forhåndsinnstilte. Ved å søke etter og sette nomic-embed-text som vektorelse motor i programinnstillingene, blir skanningen av avsnittene lynrask. Denne lille filen på mindre enn ett gigabyte har som oppgave å indeksere begrepene i det opprinnelige dokumentet, og sender deretter de nøyaktige koordinatene til hovedspråkmodellen som vil formulere svaret på skjermen.

Hvordan sette opp analysen av egne filer steg for steg

For å sette i gang et dokumentlesingssystem kreves det ekstrem strenghet. Systemets evner må kanaliseres for å unngå oppdiktede svar.

• Last ned og installer den valgte programvaren på hoveddisken, helst på en solid-state-disk for å eliminere flaskehalser under lesing.
• Finn en språkmodell som passer til egne beregningskapasiteter. Modeller basert på Mistral-strukturen eller Llama-familien, optimalisert under ti milliarder parametere, gir utmerket forståelse av det italienske språket uten å krasje datamaskinen.
• Opprett et nytt arbeidsområde i programmet, og gi det et navn i henhold til det pågående prosjektet.
• Dra regneark, tekstfiler eller presentasjoner inn i opplastingsområdet som er tilrettelagt av grensesnittet.
• Vent tålmodig på den innledende prosesseringen som kreves for at systemet skal fragmentere teksten og gjøre den til en intern vektorbasert database som kan konsulteres offline.
• Skriv forespørslene, og spesifiser tydelig for algoritmen å hente begrepene utelukkende fra det nettopp leverte materialet, uten å legge til ekstern informasjon.

Annet å vite

• Behandlingshastighet. Hastigheten som teksten vises på skjermen, måles i token per sekund og avhenger helt av de elektroniske komponentene. På gamle systemer kan det ta lang tid å hente spesifikke klausuler fra en kontrakt på tretti sider.
• Språklige evner og størrelser. Modeller som er for komprimerte, tar liten plass på disken, men sliter kraftig med oversettelser eller lager grammatikalsk feil. For å oppnå flytende og profesjonelle analyser på italiensk, må man laste ned tunge pakker på minst fem eller seks gigabyte.
• Lesing av skannede dokumenter. Programvare lokalt klarer ikke å lese papir dokumenter lagret som bilder uten velgbar tekst. Før man går videre, må filene behandles i et optisk tegngjenkjenningsprogram for visuell utvinning av individuelle ord.
• Problemet med hallusinasjoner. Selv når man jobber helt isolert fra det globale nettet, har algoritmene en tendens til å finne på fakta eller tall når de ikke finner det nøyaktige svaret i de analyserte tekstene. Det blir obligatorisk å nøye kontrollere de hentede sitatene før de brukes til formelle arbeidsformål.
• Bedriftskostnader og besparelser. De nevnte programmene har ingen irriterende abonnementer og fjerner for alltid gjentakende kostnader for kommersielle abonnementstjenester. Den eneste utgiften som kreves er den innledende kjøpet av moderne prosessorer eller grafikkort, dersom kontorens terminaler er utdaterte.

Hvis du vil lese flere artikler som Bearbeide konfidensielle filer gjennom AI, privat på PC, kan du besøke kategorien Windows.