Art Isn't Dead, It's Just Machine-Generated

Varför AI-modeller kommer att ersätta artister långt innan de kommer att ersätta programmerare

Den kanske mest uppseendeväckande implikationen vi ser från generativ AI är att, i motsats till den vanliga uppfattningen att kreativitet kommer att vara den sista bastionen för mänsklig uppfinningsrikedom inför automatisering, verkar det faktiskt vara mycket lättare att automatisera ganska svåra kreativa uppgifter än att automatisera relativt enkla programmeringsuppgifter. För att få en känsla av detta jämför vi två av de mer populära användningsfallen för generativ AI: kodgenerering och bildgenerering. Men vi tror att påståendet håller mer generellt, även när generativa modeller expanderar till mer komplexa applikationer.

Den korta versionen av argumentet (som vi tar upp mer i detalj nedan) är att även om en produkt som GitHub Copilot, i sin nuvarande form, kan göra kodningen något mer effektiv, det undanröjer inte behovet av duktiga mjukvaruutvecklare med programmeringskunskaper. En stor anledning är att, när det gäller att bygga ett program, är korrektheten verkligen viktig. Om AI genererar ett program, kräver det fortfarande en människa för att verifiera att det är korrekt - ett försök på nästan samma nivå som att skapa det till att börja med.

Å andra sidan kan alla som kan skriva använda en modell som Stabil diffusion att producera högkvalitativa, unika bilder på några minuter, till många storleksordningar mindre kostnader. Kreativa arbetsprodukter har ofta inga strikta korrekthetsbegränsningar, och modellernas utdata är förbluffande kompletta. Det är svårt att inte se en hel fasförskjutning i branscher som förlitar sig på kreativa bilder eftersom, för många användningsområden, är det visuella som AI kan producera nu redan tillräckligt, och vi är fortfarande i början av tekniken.

Vi erkänner fullt ut att det är svårt att vara säker på några förutsägelser i den takt fältet rör sig. Men just nu verkar det som om vi är mycket mer benägna att se applikationer fulla av kreativa bilder skapade strikt av programmerare än applikationer med mänskligt designad konst byggd strikt av skapare. 

Varför hypen, och varför nu?

Innan vi går in på detaljerna för kodgenerering kontra bildgenerering, är det användbart att få en känsla av hur populär AI övergripande och generativ AI, specifikt, är för tillfället.

Generativ AI ser det snabbaste upptaget av utvecklare vi någonsin sett. När vi skriver detta toppar Stable Diffusion lätt trenddiagrammen för GitHub-förvar med stor marginal. Dess tillväxt är långt före all ny teknik inom infrastruktur eller krypto (se figuren ovan). Det finns nästan dagliga lanseringar och tillkännagivanden om finansiering av startups som använder tekniken, och sociala onlinenätverk översvämmas av innehåll skapat av generativa modeller.

Den totala investeringsnivån i AI under det senaste decenniet är också svår att överskatta. Vi har sett en exponentiell ökning av enbart publikationer sedan mitten av 2010-talet (se figur nedan). Idag handlar cirka 20 % av alla artiklar som publiceras på arXiv om AI, ML och NLP. Viktigt är att de teoretiska resultaten har passerat en kritisk tröskel där de har blivit lätta att konsumera och utlöste en kambrisk explosion av nya tekniker, mjukvara och startups. 

Den senaste spetsen i figuren ovan beror till stor del på generativ AI. På ett enda decennium har vi gått från AI-modeller endast för experter som kan klassificera bilder och skapa ordinbäddningar till allmänt användbara modeller som kan skriva effektiv kod och skapa anmärkningsvärt exakta bilder med hjälp av naturliga språkuppmaningar. Det är ingen överraskning att innovationstakten bara har ökat, och det borde inte vara någon överraskning när generativa modeller börjar göra intåg i andra områden som en gång dominerades av människor.

Generativ AI och programmering

En av de tidigaste användningarna av generativ AI har varit som en programmerares hjälp. Sättet det fungerar är att en modell tränas på en stor korpus av kod (t.ex. alla offentliga repos i GitHub) och sedan kommer med ett förslag till en programmerare när de kodar. Resultaten är enastående. Så mycket att det är rimligt att detta tillvägagångssätt kommer att bli synonymt med programmering framöver.

Produktivitetsvinsterna har dock varit blygsamma i förhållande till bildgenerering, vilket vi tar upp nedan. En del av anledningen till detta, som nämnts ovan, är att korrekthet är avgörande i programmering (och faktiskt ingenjörsproblem mer allmänt, men vi fokuserar på programmering i det här inlägget). Till exempel, en ny studie hittades det för scenarier som matchar högrisk CWE:er (vanliga svaghetsuppräkningar), 40 % av AI-genererad kod innehöll sårbarheter.

Därför måste användaren hitta en balans mellan att generera tillräckligt med kod för att ge en meningsfull produktivitetsökning, samtidigt som den begränsar den så att det är möjligt att kontrollera om det är korrekt. Som ett resultat har Copilot hjälpte förbättra utvecklarens produktivitet — nyare studier (här. och här.) sätta vinster i storleksordningen 2x eller mindre - men till en nivå i nivå med vad vi har sett i tidigare framsteg av utvecklarspråk och verktyg. Hoppet från montering till C, till exempel, förbättrade produktiviteten 2-5 gånger enligt vissa uppskattningar.

För mer erfarna programmerare kan problem sträcka sig bortom kodkorrektheten och till övergripande kodkvalitet. Som snabbt.aiär Jeremy Howard har förklarat när det gäller de senaste versionerna av OpenAI Codex-modellen, "[I]t skriver utförlig kod eftersom den genererar genomsnitt koda. För mig är det mycket långsammare att ta genomsnittlig kod och göra den till kod som jag gillar och som jag vet är korrekt än att bara skriva det från början - åtminstone på språk jag kan väl."

Så även om det är uppenbart att generativ programmering är en stegfunktion i utvecklarens produktivitet, är det inte klart att förbättringen är dramatiskt annorlunda än de vi har sett tidigare. Generativ AI gör bättre programmerare, men de måste fortfarande programmera.

Generativ AI och visuals

Å andra sidan är generativa modellers inverkan på kreativt arbete, såsom bildgenerering, extrem. Det har resulterat i många förbättringar i effektivitet och kostnader, och det är svårt att inte se att det inleder ett branschomfattande fasskifte.

Sättet generativ AI fungerar i det här utrymmet är att ta enkla textindata från användaren, så kallade prompter, och sedan genererar modellen en visuell utdata. För närvarande finns det modeller för att skapa många utdataformat, inklusive bilder, videor, 3D-modeller och texturer.

Det som är särskilt intressant är hur dessa modeller kan utökas för att generera nya eller domänspecifika bilder utan nästan inga kreativa ingrepp. Guido (en av författarna) tog till exempel en förtränad bildmodell och tränade om den på några dussin bilder på sig själv. Därifrån kunde han skapa bilder med hjälp av i prompten. Nedan är bilder genererade från följande uppmaningar: ” som kapten amerika"," i Paris"," i en målning".

Där bildgenerering är en massiv avvikelse från kodgenerering i affärssammanhang är i vilken utsträckning generativ AI förändrar den ekonomiska kalkylen. För att skapa ovanstående bilder tränade Guido modellen på en handfull bilder som kostade cirka 50 USD i infrastrukturresurser. När du väl har tränat det kostar det cirka 0.001 USD att skapa bilder i beräkningsresurser och kan göras i molnet eller på en senaste generationens bärbara dator. Dessutom tar det bara några sekunder att skapa bilden. 

Utan generativ AI är det enda sättet att få en anpassad bild att antingen anställa en artist eller göra det själv. Även om vi börjar med antagandet att en person skulle kunna skapa en helt anpassad, fotorealistisk bild inom en timme för $10, den generativa AI-metoden är lätt fyra storleksordningar billigare och en storleksordning snabbare. Mer realistiskt kommer alla anpassade konstverk eller grafisk designprojekt troligen att ta dagar eller veckor och kommer att kosta hundratals, om inte tusentals, dollar. 

I likhet med programmeringshjälpmedlen ovan kommer generativ AI att vara antas som ett verktyg av konstnärer och båda kräver en viss grad av användarövervakning. Men det är svårt att överskatta skillnaden i ekonomi som skapas av en bildmodells förmåga att efterlikna hela artistproduktionen. Att använda en kodgenereringsmodell kräver granskning, redigering och tillägg av tester för många kodavsnitt att skriva till och med ett mycket grundläggande funktionsprogram som utför en vanlig datoruppgift. Men för en grundläggande bild, ange en prompt och välja en bild från ett dussin förslag kan göras på under en minut.

Ta till exempel vår egen serietecknare (och investeringspartner) Yoko Li (@stuffyokodraws). Vi tränade en modell med hjälp av 70 av hennes tidigare bilder, och modellen kunde generera bilder med en kuslig nivå av mimik. Varje artist måste ta reda på vad de ska skapa härnäst, och hon fann till och med att de utbildade modellerna kan visa upp fler alternativ än vad hon hade i tankarna - åtminstone när de pressas för att producera något under en given tidsperiod. Det finns hundratals sätt att rita samma objekt, men generativa modeller gjorde det uppenbart direkt vilka vägar som är värda att utforska. 

Så när det kommer till sådana uppgifter, argumenterar vi inte för att datorer nödvändigtvis är det bättre än människor på en 1:1-basis. Men som med så många andra uppgifter, när datorer kan producera kompletta arbetsresultat, dödar de oss bara på skala. 

Försök och gissa vilka av ritningarna nedan som ritades direkt av Yoko och vilka som skapades. 

Den massiva förbättringen av ekonomin, flexibiliteten i att kunna skapa nya stilar och koncept, och förmågan att generera komplett eller nästan fullständig arbetsproduktion tyder på att vi är redo att se en markant förändring i alla branscher där kreativa tillgångar är en större delen av verksamheten. Och detta är inte begränsat till bilder, utan gäller hela designfältet. Till exempel:

• Generativ AI kan skapa 2D-konst, texturer, 3D-modeller och hjälpa till med nivådesign för spel. 
• Inom marknadsföring ser det ut att vara redo att ersätta stockart, produktfotografering och illustration. 
• Vi ser redan applikationer inom webbdesign, inredningsdesign och landskapsdesign.

Och vi är egentligen bara i början. Om ett användningsfall kräver kreativ generering av innehåll är det svårt att se argumentet varför generativ AI inte kommer att störa det eller åtminstone bli en del av processen.

-

Okej, så vad är poängen med det här inlägget? Även om det är något snävt fokuserat på kodgenerering och bildgenerering, misstänker vi att resultaten håller mer allmänt. I synnerhet att kreativa ansträngningar över hela linjen - oavsett om det är visuellt, textmässigt eller musikaliskt - kommer sannolikt att störas av AI långt innan system byggs. 

Förutom korrekthetsargumentet vi använder ovan, kan det också vara så att kombination och rekombination av all känd teknik kan vara tillräckligt för det praktiska utbudet av kreativa resultat. Musik- och filmindustrin, till exempel, har historiskt producerat otaliga knock-offs av populära album och filmer. Det är fullt tänkbart att generativa modeller kan hjälpa till att automatisera dessa funktioner över tid. Men det anmärkningsvärda med så många av bilderna som produceras av Stable Diffusion och DALL-E 2 är att de är riktigt bra och genuint intressant. Det är inte svårt att föreställa sig en AI-modell som producerar genuint intressanta fusioner av musikstilar eller till och med "skriver" långfilmer som är spännande i hur de binder samman koncept och stilar. 

Tvärtom är det svårt att föreställa sig att tidigare system kommer att innehålla alla verktyg vi behöver för att utveckla alla framtida system. Eller till och med att komplexa system lika lätt kan kombineras som olika stilar av konst eller musik. Så ofta ligger värdet av ett system, och varför de är så svåra att bygga, i den långa svansen av detaljer – alla avvägningar, lösningar, optimeringar för ett givet designutrymme och institutionell/latent kunskap de innehåller. Så fortsätta bygga måste vi.

Vi kommer att motstå lusten att förutsäga exakt hur generativ AI kommer att påverka den kreativa industrin. I alla fall, historien tyder på att nya verktyg tenderar att göra det expandera snarare än att kontraktera definitionen av konst, och att göra den tillgänglig för nya typer av artister. I det här fallet är de nya konstnärerna systembyggare. Så, för teknikgrundare tror vi att generativ AI är ett strikt positivt verktyg för att utöka räckvidden för mjukvara – spel blir vackrare, marknadsföring mer övertygande, skrivet innehåll mer engagerande, filmer mer inspirerande.

Vem vet: En dag kan ett arkiv av internet från sent 2022 uppskattas som ett av de sista mestadels mänskligt genererade innehållsarkiven. Den här texten till den här artikeln skapades åtminstone helt av människor.