Åpen kildekode AI gjør moderne PC-er relevante, og abonnementene virker dårlige

Åpen kildekode AI gjør moderne PC-er relevante, og abonnementene virker dårlige

Tidsstempel: 11. mai 2023 2:31
Åpen kildekode AI gjør moderne PC-er relevante, og abonnement virker shabby PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Kolonne Denne tiden i fjor ble den siste trenden innen databehandling umulig å ignorere: enorme silisiumplater med hundrevis av milliarder transistorer – den uunngåelige konsekvensen av et annet sett med løsninger som holdt Moores lov fra glemselen.

Men et fallende PC-salg tyder på at vi ikke trenger disse monsterdatamaskinene – og ikke bare på grunn av en salgsskygge kastet av COVID.

I første halvdel av 2022 så bedriftens databehandling omtrent det samme ut som det hadde gjort det siste tiåret: grunnleggende kontorapper, teamkommunikasjonsapper og, for den kreative klassen, noen få rike medieverktøy. Jada, spillere ville alltid finne en måte å sette disse transistorene på, men det store flertallet av maskinvaren var allerede overmannet og underarbeidet. Hvorfor kaste bort transistorer på løste problemer?

Så forandret verden seg. For et år siden lanserte OpenAI DALL-E, det første av de allment tilgjengelige generative AI-verktøyene – en "diffuser" som konverterer støy, en tekstmelding og en massiv database med vektinger til bilder. Det virket nesten som magi. Ikke lenge etter tilbød Midjourney mye av det samme – men innstilt på en desidert 70-talls Prog Rock albumcover-estetikk. Det virket som om etterspørselen etter cloud computing ville skyte i været da disse verktøyene fant veien inn i produkter fra Microsoft, Canva, Adobe og andre.

Så forandret verden seg igjen. I august introduserte Stability AI en åpen kildekodedatabase med diffusorvekting. Ved starten krevde Stable Diffusion en toppmoderne GPU, men åpen kildekode-fellesskapet fant snart ut at det kunne optimalisere diffusoren til å kjøre på, vel, stort sett hva som helst. Det ville ikke nødvendigvis være raskt, men det ville fungere – og det ville oppskaleres med maskinvaren din.

I stedet for å kreve enorme skyressurser, disse nyere AI-verktøyene kjøres lokalt. Og hvis du kjøpte en monsterdatamaskin, ville de kjørt minst like raskt som alt som tilbys fra OpenAI eller Midjourney – uten abonnement.

Det stadig spennende fellesskapet med åpen kildekode som driver Stable Diffusion skapte en imponerende serie med nye diffusorvektinger, hver rettet mot en spesifikk estetikk. Stabil diffusjon er ikke bare så rask som alt som tilbys av et kommersielt AI-firma – det er både mer nyttig og mer utvidbart.

Og så – ja, du gjettet riktig – forandret verden seg igjen. I begynnelsen av desember, OpenAI's ChatGPT fullstendig omskrev forventningene våre til kunstig intelligens, og ble den raskeste nettappen som nådde 100 millioner brukere. En stor språkmodell (LLM) drevet av en "generativ forhåndstrent transformator" – hvor mange av oss har glemt at det er det GPT står for? – som trente vektingene sine på de enorme mengdene med tekst som er tilgjengelig på internett.

Denne treningsinnsatsen anslås å ha kostet millioner (muligens titalls millioner) i Azure cloud computing-ressurser. Det var forventet at inngangskostnadene var nok til å holde konkurrentene i sjakk – kanskje bortsett fra Google og Meta.

Helt til verden igjen forandret seg. I mars, Meta utgitt LLaMA – en mye mer kompakt og effektiv språkmodell, med en relativt liten database med vektinger, men med responskvalitet som nærmer seg OpenAIs GPT-4.

Med en modell på bare tretti milliarder parametere kan LLaMA komfortabelt sitte i en PC med 32 GB RAM. Noe som ligner på ChatGPT – som kjører på Azure Cloud på grunn av sin enorme database med vektinger – kan kjøres stort sett hvor som helst.

Metas forskere tilbød vektingene sine til sine akademiske kolleger, gratis å laste ned. Ettersom LLaMA kunne kjøre på laboratoriedatamaskiner, forbedret forskere ved Stanford umiddelbart LLaMA gjennom sin nye treningsteknikk kalt Alpakka-Lora, som kuttet kostnadene ved å trene et eksisterende sett med vektinger fra hundretusenvis av dollar ned til noen få hundre dollar. De delte også koden sin.

Akkurat som DALL-E tapte mot Stable Diffusion for brukervennlighet og utvidbarhet, ser ChatGPT ut til å tape enda et løp, ettersom forskere produserer en rekke modeller – som Alpakka, Vicuña, Koala, og et menasjeri av andre – som trener og trener om igjen raskt og billig.

De forbedrer seg mye raskere enn noen forventet. Delvis er det fordi de trener på mange ChatGPT "samtaler" som har blitt delt på tvers av nettsteder som Reddit, og de kan kjøre godt på de fleste PC-er. Hvis du har en monsterdatamaskin, fungerer de veldig bra.

Maskinene som vi ikke kunne tenke oss å bruke for bare et år siden, har funnet sin hensikt: de blir arbeidshestene for alle våre generative AI-oppgaver. De hjelper oss med å kode, planlegge, skrive, tegne, modellere og mye annet.

Og vi vil ikke være avhengig av abonnementer for å få disse nye verktøyene til å fungere. Tt ser ut som om åpen kildekode allerede har overgått kommersiell utvikling av både diffusorer og transformatorer.

Åpen kildekode AI har også minnet oss om hvorfor PC-en spredte seg: ved å gjøre det mulig å ta med hjem verktøy som en gang bare var tilgjengelig på kontoret.

Dette vil ikke stenge døren for handel. Om noe betyr det at det er større muligheter for gründere til å lage nye produkter, uten å bekymre seg for om de krenker forretningsmodellene som ligger til grunn for Google, Microsoft, Meta eller noen andre. Vi er på vei inn i en tid med omfattende forstyrrelser i teknologien – og størrelsen ser ikke ut til å gi mange fordeler.

Monstrene er på frifot. Jeg tror det er en god ting. ®

Tidstempel:

Mer fra Registeret