Installer gratis generative bildemodeller med IA Stable Diffusion på PC

Lær hvordan du kan generere konsistente og fantasifulle bilder ved hjelp av open source AI-modellen Stable Diffusion, installert direkte på din PC eller i skyen.

Alle snakker om det, alle prøver det, men hvordan fungerer egentlig bilde-generering gjennom AI? For det er én ting å gå på en av de mange sidene som lager bilder og be om å se en solnedgang eller et landskap eller en tilfeldig person, men noe helt annet er å generere et sett med lignende eller konsistente bilder, som kanskje viser det samme emnet.

I tillegg, et annet spørsmål som naturlig dukker opp og som også er mer praktisk, kan vi generere nye bilder, fantasifulle eller realistiske, uten å bruke eksterne tjenester, men bare ved å bruke PC-en vår og kanskje også gratis uten kreditter og forskjellige begrensninger og sensurer?

Hvis jeg skriver denne artikkelen er det klart at vi kan generere alle bildene vi ønsker, også konsistente, fra vår PC ved å bruke frie og open source genereringsmodeller.

Premisse

Før vi kommer til hvordan vi gjør det, er det faktisk nødvendig å forstå to eller tre konsepter for å vite hva vi gjør; ellers vil vi bare bruke et tilfeldig verktøy som aldri vil gi de forventede eller håpte resultatene. Dette blir en super kort og essensiell gjennomgang.

Så, tilbake til diskusjonen om guiden for å installere en AI på PC-en, hvis det for tekstbaserte chatbots bare er nødvendig med en språkmodell eller LLM, for GenAI eller generativ kunstig intelligens, trenger vi en deep learning-modell, tekst-bilde.

Eksempler på disse tekst-bilde-modellene er de berømte DALL-E fra Open AI, den første som kom ut, deretter Midjourney, som jeg snakket om tidligere, Grock fra X, Imagen fra Google, og, ikke minst, den viktigste for oss alle, Stable Diffusion.

Stable Diffusion, hvis historie og funksjon kan leses på Wikipedia, er den gratis open source-modellen for latent tekst-bilde-diffusjon fra Stability AI som alle kan bruke fritt. Stable Diffusion er også en lettere modell enn DALL-E og Midjourney, installérbar på egen PC og brukt av de fleste nettsteder og webapplikasjoner som tilbyr bildgenereringstjenester.

Requisiter av Stable Diffusion på PC

Takk til skaperne av Stable Diffusion, men det er to problemer for de som ønsker å eksperimentere med generativ AI.

Det første er kostnaden i form av videominne: for å lage bilder gjennom AI er det nødvendig med en PC som har minst, for Stable Diffusion, 12 GB VRAM, minnet til grafikkortet. Så, hvis man virkelig ønsker å gjøre alt hjemme, må man kjøpe et NVIDIA GeForce grafikkort med mye VRAM, minst 12 GB, som, som vi har sett, koster minimum 600 Euro (og selv med denne utgiften får vi bare minimum nødvendig). For å teste kan 6 GB VRAM også være tilstrekkelig, men dette problemet kan også løses enkelt uten å kjøpe noe, ved å bruke cloud, som vi vil se snart.

Det andre problemet er knyttet til læring av AI. I korthet, hvis vi installerer programvaren og så ber om å lage bildet av en jente, vil dette dukke opp med et bestemt utseende. Andre ganger vil det se helt annerledes ut, og gjerne dukke opp som en tegneseriefigur eller som en digital figur i 3D. I hovedsak må vi gi AI kontroll for at bildene skal være av samme type. For å løse dette er det bare å ha litt tålmodighet for å forstå og bruke verktøyene.

Andre krav er rent programvarebaserte. PC-en må ha installert Python, samt verktøyet Git.

Last ned og installer Stable Diffusion på PC

Det finnes tre hovedprogrammer for å installere Stable Diffusion AI på PC-en, alle tre open source og med lignende funksjonalitet, men med forskjellige installasjons- og konfigurasjonsmetoder. Disse er:

• • AUTOMATIC1111 eller A1111, tilgjengelig for Mac og Windows samt på cloud. Veiledning og bruksanvisning finnes på nettsiden StableDiffusion.art.
  • Fooocus, et lignende program for Windows og Linux, som kan lastes ned fra Github, hvor alle instruksjoner er tilgjengelige.
    • Fooocus er ganske enkelt å bruke fordi det også støtter bildegenerering fra bilder, så man kan laste opp sitt eget foto eller gjøre et face swap.
    • ComfyUI, som ikke bare er det mest kraftige programmet, men også det enkleste. Dette programmet har en Windows-pakke med alt inkludert, så ingen konfigurasjonskommandoer kreves, og det kan brukes umiddelbart. Hvis du har en PC med NVIDIA-grafikkort, kan du laste ned programmet ComfyUI_windows_portable_nvidia.7z fra utgivelsessiden, som bare må pakkes ut og kjøres.

Som du kan merke fra nettsidene til disse programmene, hvis du ikke har en kraftig nok PC, eller hvis du ikke vil bruke for mye tid på manuell installasjon, kan du kjøre dem i skyen takket være plattformen Google Colab. Colab er i hovedsak en Google-tjeneste som lar deg koble til og låne en Google-server med 16 GB VRAM for å kjøre Python-kommandoer. Tilgang krever bare en Google Drive-konto og er gratis i en viss tidsperiode. På Collab kan man derfor kjøre programmene (ved å trykke på Play-knappen ved siden av kommandoene):

• • • AUTOMATIC1111.
    • Fooocus
    • ComfyUI

ComfyUI kan også kjøres i skyen, komplett med modeller og sjekkpunkter, fra nettstedet RunComfy.com, som lar deg låne en virtuell maskin med 16 GB VRAM gratis, eller også leie, uten abonnement, og bare betale for tiden du bruker eller for mer minne.

Legge til modeller eller sjekkpunkter

Uansett hvilket program vi bruker, vil jeg anbefale ComfyUI eller Fooocus. For å generere bilder er det nødvendig å laste opp såkalte sjekkpunkter, som er AI-modeller som ikke er inkludert. Stable Diffusion er en av disse AI-modellene, men det finnes flere andre. Disse AI-modellene eller sjekkpunktene er filer med formatet .safetensors og må lastes ned og plasseres i mappen for modeller (åpne programmappen og deretter åpne stien models/checkpoint og kopiere .safetensors-filene der).

Safetensors-modellene kan lastes ned fra nettstedet HuggingFace, som samler dem alle, eller også fra nettstedet Civit.ai, som er mindre teknisk og komplett, men lettere å navigere og søke i. For eksempel kan du laste ned Stable Diffusion XL 1.0 (på siden, gå til Fil og versjoner for å finne nedlastningene).

Som du kan merke, er generative AI-bilder et forferdelig stort område, hvor det er lett å eksperimentere, men det krever mye erfaring hvis man vil ta det seriøst. For å komme i gang, ville jeg anbefale, hvis du ønsker å lage realistiske bilder som fotografier, å laste ned modellen Juggernaut XL på Civitai, basert på SD XL. Hvis du ønsker å lage Anime-bilder, 3D-grafikk eller andre typer, kan du laste ned ønsket sjekkpunkt fra Civitai eller Huggingface.

LORA (Low-Rank Adaptation), som er under-modeller som begrenser variasjonen i bildegenereringen slik at man kan definere bedre hva man ønsker og som er nødvendig for å lage konsistente bilder. For å forstå historien bedre, kan vi tenke på LORA som forskjellige fotofilter. For eksempel, hvis vi ønsket å skape bilder av en vakker jente med perfekt hud, kan man laste ned det passende LORA (Realism); hvis man ønsker en.

For å få bilder av en berømt person, som for eksempel Billie Eilish som er veldig trendy, må du laste ned LORA. Civitai har en stor samling av LORA som kan søkes etter og lastes ned gratis.

Vi kan også lage en LORA gjennom trening (i hovedsak må du laste opp 50 eller 60 bilder av samme subjekt eller detalj) som også kan gjøres online på Civit.ai (selv om du må kjøpe minst 5 Euro kreditt).

Vær også oppmerksom på konseptet med Workflow, som på ComfyUI er representert som flytdiagrammer. Workflowene er trinnene algoritmen må ta (gjennom checkpoints, LORA og mange andre parametere) for å generere bildet, og de kan faktisk være ganske komplekse. På nettstedet Runcomfy.com kan du laste ned mange ferdige workflows.

Stable Diffusion online

De som ikke har en PC med 12 GB VRAM kan prøve disse programmene, men genereringen av bilder vil være veldig treg. Heldigvis finnes det mange online tjenester. Nå finnes det virkelig mange nettsteder som integrerer Stable Diffusion. De laster opp det open source-programmet, for eksempel ComfyUI, godt konfigurert med Checkpoint og LORA, og tilbyr abonnementer.

Vi har laget en liten liste over de beste nettstedene for å generere bilder med IA gratis i en annen artikkel.

Basert på mine undersøkelser har jeg funnet at de beste nettstedene er Civit.ai og Tensor.art, fordi de er som online versjoner av ComfyUI, komplette med alle de mest brukte checkpointene og LORA. I tillegg er de, med hensyn til kredittforbruk, blant de mest generøse, og kan brukes gratis for å gjøre mange prøver, ikke bare 5 eller 10 bilder.

Flux

To ord også om Flux fra Black Forest Lab, en annen generativ IA-modell Text-to-Image open source, lik Stable Diffusion, men nyere og med høyere kvalitet. På nettstedene nevnt ovenfor kan du prøve å lage bilder med Flux og sammenligne dem med de genererte gjennom SD XL eller SD 1.5. Selv om Flux er bedre, er det imidlertid mer "kostbart" både i form av videominne (minst 16 GB VRAM kreves på din egen PC for Flux) og når det gjelder prisene på de online tjenestene.

Den enkleste måten å prøve Flux gratis på er fra nettstedet Hugging Face. Ved å klikke på Flux.1 Dev åpnes siden hvor du kan skrive inn prompten eller laste opp et bilde for å få et nytt.

Skriving av teksten eller prompt

Mye informasjon i denne artikkelen, og jeg kan tenke meg hvor mange flere guider den som er interessert vil søke etter. Uansett, hvis vi har klart å konfigurere programmet på PCen vår eller hvis vi har registrert oss for en online tjeneste for å gjøre det lettere, er nå den mest utfordrende delen her: skrivingen av prompten. Ja, for å generere et godt, realistisk eller fantasifullt bilde, er det nødvendig å beskrive alle detaljene i prompten; ellers vil det ikke bli bra eller nøyaktig.

I denne sammenhengen hjelper normal IA, som ChatGPT, eller enda bedre, Google Gemini, som fungerer godt for å generere tekstprompt. Du kan åpne Gemini Studio og deretter be om noe som "generate prompt for stable Diffusion for a photorealistic image of a woman....". Utdataene kan så limes inn i verktøyet for bildegenerering. Husk bare å skrive prompt på engelsk, dette er absolutt obligatorisk.

Et utmerket nettsted for å finne klare prompt som bare kan kopieres og limes inn for Stable Diffusion og Flux er prompthero.com.

Jeg minner også om at det er mulig å bruke generative IA-er for å bytte ansikt på et bilde med FaceSwap, en operasjon som har utviklet seg mye det siste året.

Til slutt, svarer jeg på et siste spørsmål: Kan vi også generere videoer på PC-en med IA?

Svaret, denne gangen, er nei, det er fortsatt for tidlig å snakke om. For å starte, er den gratis modellen Stable Video Diffusion nettopp kommet ut og fungerer fortsatt ikke så bra. I tillegg krever video generering enda mer videominne, så det kan bli mye dyrere.

For videoproduksjon er de som ligger i forkant tjenester som Kling, Hailuo, Hedra, Pika og Runway, nevnt i listen over nettsteder for...

Generere video ved hjelp av IA.

Hvis du har vanskeligheter eller spørsmål, gitt at emnet er komplekst og i stadig utvikling, gi beskjed.

Hvis du vil lese flere artikler som Installer gratis generative bildemodeller med IA Stable Diffusion på PC, kan du besøke kategorien Opplæringen.