Open source AI gør moderne pc'er relevante, og abonnementer virker lurvede

Open source AI gør moderne pc'er relevante, og abonnementer virker lurvede

Tidsstempel: 11. maj 2023 kl. 2
Open source AI makes modern PCs relevant, and subscriptions seem shabby PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Kolonne Denne gang sidste år blev den seneste trend inden for databehandling umulig at ignorere: enorme plader af silicium med hundredvis af milliarder af transistorer – den uundgåelige konsekvens af endnu et sæt løsninger, der holdt Moores lov fra glemslen.

Men faldende pc-salg tyder på, at vi ikke har brug for disse monstercomputere – og ikke kun på grund af en salgsskygge kastet af COVID.

I første halvdel af 2022 så virksomhedscomputere stort set det samme ud, som det havde set i det sidste årti: grundlæggende kontorapps, teamkommunikationsapps og, for den kreative klasse, et par rich media-værktøjer. Sikker på, spillere ville altid finde en måde at sætte disse transistorer på, men langt størstedelen af ​​hardwaren var allerede overmandet og underbearbejdet. Hvorfor spilde transistorer på løste problemer?

Så ændrede verden sig. For et år siden lancerede OpenAI DALL-E, det første af de bredt tilgængelige generative AI-værktøjer - en "diffuser", der konverterer støj, en tekstprompt og en massiv database med vægtninger til billeder. Det virkede næsten som magi. Ikke længe efter tilbød Midjourney meget det samme – dog tunet til en decideret 70'er Prog Rock albumcover-æstetik. Det så ud som om efterspørgslen efter cloud computing ville stige i vejret, da disse værktøjer fandt vej til produkter fra Microsoft, Canva, Adobe og andre.

Så ændrede verden sig igen. I august introducerede Stability AI en open source-database over diffusorvægtninger. I starten krævede Stable Diffusion en state-of-the-art GPU, men open source-fællesskabet fandt hurtigt ud af, at det kunne optimere diffuseren til at køre på, ja, stort set alt. Det ville ikke nødvendigvis være hurtigt, men det ville fungere – og det ville skalere op med din hardware.

I stedet for at kræve massive cloud-ressourcer, disse nyere AI-værktøjer kører lokalt. Og hvis du købte en monstercomputer, ville de køre mindst lige så hurtigt som alt andet, der tilbydes fra OpenAI eller Midjourney – uden abonnement.

Det evigt begejstrede open source-fællesskab, der driver Stable Diffusion, skabte en imponerende serie af nye diffusorvægtninger, der hver især retter sig mod en specifik æstetik. Stabil diffusion er ikke bare så hurtig som noget, der tilbydes af et kommercielt AI-firma – det er både mere nyttigt og mere udvidelsesdygtigt.

Og så – ja, du gættede rigtigt – ændrede verden sig igen. I starten af ​​december var OpenAI's ChatGPT fuldstændigt omskrev vores forventninger til kunstig intelligens og blev den hurtigste webapp til at nå ud til 100 millioner brugere. En stor sprogmodel (LLM) drevet af en "generativ præ-trænet transformer" – hvor mange af os har glemt, at det er det, GPT står for? – der trænede sine vægtninger på de store mængder tekst, der er tilgængelig på internettet.

Denne træningsindsats anslås at have kostet millioner (muligvis titusindvis af millioner) i Azure cloud computing-ressourcer. Det var forventet, at adgangsomkostningerne ville være nok til at holde konkurrenterne på afstand – måske bortset fra Google og Meta.

Indtil verden igen ændrede sig. I marts, Meta udgivet LLaMA – en meget mere kompakt og effektiv sprogmodel med en forholdsvis lille database med vægtninger, men alligevel med svarkvalitet, der nærmer sig OpenAI's GPT-4.

Med en model på kun tredive milliarder parametre kan LLaMA komfortabelt sidde i en pc med 32 GB RAM. Noget meget som ChatGPT – som kører på Azure Cloud på grund af dens massive database med vægtninger – kan køres stort set overalt.

Metas forskere tilbød deres vægtninger til deres akademiske kolleger, gratis at downloade. Da LLaMA kunne køre på deres laboratoriecomputere, forbedrede forskere ved Stanford straks LLaMA gennem deres nye træningsteknik kaldet Alpaca-Lora, som reducerede omkostningerne ved at træne et eksisterende sæt vægtninger fra hundredtusindvis af dollars ned til et par hundrede dollars. De delte også deres kode.

Ligesom DALL-E tabte til Stable Diffusion for brugervenlighed og udvidelsesmuligheder, ser ChatGPT ud til at tabe endnu et race, da forskere producerer en række modeller – såsom Alpaca, Vicuña, Koala, og et menageri af andre - der træner og genoptræner hurtigt og billigt.

De forbedrer sig langt hurtigere, end nogen havde forventet. Til dels skyldes det, at de træner på mange ChatGPT "samtaler", der er blevet delt på tværs af websteder som Reddit, og de kan køre godt på de fleste pc'er. Hvis du har en monstercomputer, kører de rigtig godt.

Maskinerne, som vi ikke kunne drømme om at bruge for bare et år siden, har fundet deres formål: De er ved at blive arbejdshestene for alle vores generative AI-opgaver. De hjælper os med at kode, planlægge, skrive, tegne, modellere og meget andet.

Og vi vil ikke være afhængige af abonnementer for at få disse nye værktøjer til at fungere. Tt ser ud som om open source allerede har overgået den kommercielle udvikling af både diffusorer og transformere.

Open source AI har også mindet os om, hvorfor pc'en spredte sig: ved at gøre det muligt at bringe værktøjer hjem, der engang kun var tilgængelige på kontoret.

Dette vil ikke lukke døren for handel. Om noget betyder det, at der er større muligheder for iværksættere til at skabe nye produkter, uden at bekymre sig om, hvorvidt de krænker forretningsmodellerne bag Google, Microsoft, Meta eller nogen andre. Vi er på vej ind i en tid med omfattende forstyrrelser i teknologien – og størrelsen ser ikke ud til at give mange fordele.

Monstrene er på fri fod. Det synes jeg er en god ting. ®

Tidsstempel:

Mere fra Registret