A arte não está morta, é apenas gerada por máquina

Por que os modelos de IA substituirão os artistas muito antes de substituir os programadores

Talvez a implicação mais alucinante que estamos vendo da IA ​​generativa seja que, ao contrário da visão comum de que a criatividade será o último bastião da engenhosidade humana diante da automação, na verdade parece ser muito mais fácil para automatizar tarefas criativas bastante difíceis do que para automatizar tarefas de programação relativamente simples. Para entender isso, comparamos dois dos casos de uso mais populares para IA generativa: geração de código e geração de imagem. Mas acreditamos que a afirmação se sustenta de maneira mais geral, mesmo quando os modelos generativos se expandem para aplicações mais complexas.

A versão curta do argumento (que abordaremos com mais detalhes abaixo) é que, embora um produto como Copiloto do GitHub, em sua forma atual, pode tornar a codificação um pouco mais eficiente, não elimina a necessidade de desenvolvedores de software capazes com conhecimento de programação. Uma grande razão é que, quando se trata de construir um programa, a correção realmente importa. Se a IA gera um programa, ainda requer um ser humano para verificar se está correto – um esforço quase no mesmo nível que criá-lo para começar.

Por outro lado, quem sabe digitar pode usar um modelo como Difusão Estável para produzir imagens únicas e de alta qualidade em minutos, a um custo muito menor. Os produtos de trabalho criativo geralmente não têm restrições de correção estritas e as saídas dos modelos são incrivelmente completas. É difícil não ver uma mudança de fase completa nas indústrias que dependem de visuais criativos porque, para muitos usos, os visuais que a IA é capaz de produzir agora já são suficientes e ainda estamos nos estágios iniciais da tecnologia.

Reconhecemos plenamente que é difícil ter certeza de quaisquer previsões no ritmo em que o campo está se movendo. No momento, porém, parece que estamos muito mais propensos a ver aplicativos cheios de imagens criativas criadas estritamente por programadores do que aplicativos com arte projetada por humanos construídas estritamente por criadores. 

Por que o hype e por que agora?

Antes de entrarmos nas especificidades da geração de código versus geração de imagem, é útil ter uma noção de quão popular a IA em geral e a IA generativa, especificamente, são no momento.

A IA generativa está tendo a aceitação mais rápida pelos desenvolvedores que já vimos. Enquanto escrevemos isso, o Stable Diffusion lidera facilmente os gráficos de tendências dos repositórios do GitHub por uma ampla margem. Seu crescimento está muito à frente de qualquer tecnologia recente em infraestrutura ou criptografia (veja a figura acima). Há quase diariamente anúncios de lançamento e financiamento de startups que usam a tecnologia, e as redes sociais online estão sendo inundadas com conteúdo criado por modelos generativos.

O nível geral de investimento em IA na última década também é difícil de exagerar. Vimos um aumento exponencial apenas nas publicações desde meados da década de 2010 (veja a figura abaixo). Hoje, cerca de 20% de todos os artigos publicados no arXiv são sobre IA, ML e PNL. É importante ressaltar que os resultados teóricos cruzaram um limite crítico onde se tornaram facilmente consumíveis e desencadearam uma explosão cambriana de novas técnicas, software e startups. 

O pico mais recente na figura acima é em grande parte devido à IA generativa. Em uma única década, passamos de modelos de IA apenas para especialistas que podiam classificar imagens e criar incorporações de palavras para modelos utilizáveis ​​publicamente que podem escrever códigos eficazes e criar imagens notavelmente precisas usando prompts de linguagem natural. Não é surpresa que o ritmo da inovação tenha apenas aumentado, e não deve ser surpresa quando modelos generativos começam a fazer incursões em outras áreas antes dominadas por humanos.

IA generativa e programação

Um dos primeiros usos da IA ​​generativa foi como auxílio ao programador. A maneira como funciona é que um modelo é treinado em um grande corpus de código (por exemplo, todos os repositórios públicos no GitHub) e, em seguida, faz uma sugestão a um programador enquanto ele codifica. Os resultados são excelentes. Tanto que é razoável que essa abordagem se torne sinônimo de programação daqui para frente.

No entanto, os ganhos de produtividade foram modestos em relação à geração de imagens, que abordamos abaixo. Parte da razão para isso, como mencionado acima, é que a correção é crítica na programação (e, de fato, na engenharia de problemas de forma mais ampla, mas nos concentramos na programação neste post). Por exemplo, um estudo recente descobriu isso para cenários correspondentes a alto risco CWEs (enumerações de fraquezas comuns), 40% do código gerado por IA continha vulnerabilidades.

Assim, o usuário precisa encontrar um equilíbrio entre gerar código suficiente para fornecer um aumento de produtividade significativo e, ao mesmo tempo, limitá-lo para que seja possível verificar a correção. Como resultado, o Copilot tem ajudou melhorar a produtividade do desenvolvedor — estudos recentes (SUA PARTICIPAÇÃO FAZ A DIFERENÇA e SUA PARTICIPAÇÃO FAZ A DIFERENÇA) coloque ganhos na ordem de 2x ou menos — mas em um nível equivalente ao que vimos em avanços anteriores de linguagens e ferramentas de desenvolvedor. O salto de montagem para C, por exemplo, melhorou a produtividade de 2 a 5 vezes em algumas estimativas.

Para programadores mais experientes, as preocupações podem ir além da exatidão do código e atingir a qualidade geral do código. Como rápido.aié Jeremy Howard explicou no que diz respeito às versões recentes do modelo OpenAI Codex, “[I] t escreve código detalhado porque está gerando média código. Para mim, pegar um código mediano e transformá-lo em um código que eu goste e saiba que está correto é muito mais lento do que apenas escrevê-lo do zero — pelo menos em linguagens que conheço bem.”

Portanto, embora esteja claro que a programação generativa é uma função de etapa na produtividade do desenvolvedor, não está claro se a melhoria é drasticamente diferente daquelas que vimos antes. A IA generativa torna os programadores melhores, mas eles ainda devem programar.

IA generativa e visuais

Por outro lado, o impacto dos modelos generativos na produção de trabalhos criativos, como a geração de imagens, é extremo. Isso resultou em melhorias de muitas ordens de magnitude em eficiência e custo, e é difícil não vê-lo inaugurando uma mudança de fase em todo o setor.

A maneira como a IA generativa funciona nesse espaço é obter entradas textuais simples do usuário, chamadas de prompts, e o modelo gera uma saída visual. Atualmente, existem modelos para criar muitos formatos de saída, incluindo imagens, vídeos, modelos 3D e texturas.

O que é particularmente interessante é como esses modelos podem ser estendidos para gerar imagens novas ou específicas do domínio com quase nenhuma intervenção criativa. Por exemplo, Guido (um dos autores) pegou um modelo de imagem pré-treinado e o retreinou em algumas dezenas de fotos de si mesmo. A partir daí, ele foi capaz de gerar imagens usando no prompt. Abaixo estão as fotos geradas a partir dos seguintes prompts: ” como Capitão América"," em Paris"," em uma pintura".

Onde a geração de imagens é um afastamento maciço da geração de código em um contexto de negócios, é a medida em que a IA generativa muda o cálculo econômico. Para criar as fotos acima, Guido treinou o modelo em um punhado de fotos que custam cerca de US$ 50 em recursos de infraestrutura. Depois de treinado, gerar imagens custa cerca de US$ 0.001 em recursos de computação e pode ser feito na nuvem ou em um laptop de última geração. Além disso, gerar a imagem leva apenas alguns segundos. 

Sem IA generativa, a única maneira de obter uma imagem personalizada é contratar um artista ou fazer você mesmo. Mesmo se começarmos com a suposição de que uma pessoa pode criar uma imagem fotorrealista completamente personalizada em uma hora por US$ 10, a abordagem de IA generativa é facilmente quatro ordens de grandeza mais barata e uma ordem de grandeza mais rápida. Mais realisticamente, qualquer arte personalizada ou projeto de design gráfico provavelmente levará dias ou semanas e custará centenas, senão milhares, de dólares. 

Semelhante aos auxílios de programação acima, a IA generativa será adotado como ferramenta por artistas e ambos requerem algum grau de supervisão do usuário. Mas é difícil exagerar a diferença na economia criada pela capacidade de um modelo de imagem de imitar a produção total do artista. Usando um modelo de geração de código, escrever até mesmo um programa funcional muito básico que execute uma tarefa de computação padrão requer revisão, edição e adição de testes para muitos trechos de código. Mas para uma imagem básica, inserir um prompt e escolher uma imagem entre uma dúzia de sugestões pode ser feito em menos de um minuto.

Tomemos, por exemplo, nossa própria cartunista (e parceira de investimentos) Yoko Li (@stuffyokodraws). Treinamos uma modelo usando 70 de suas imagens anteriores, e a modelo foi capaz de gerar imagens com um nível assustador de mimetismo. Todo artista precisa descobrir o que criar a seguir, e ela até descobriu que os modelos treinados podem apresentar mais opções do que ela tinha em mente - pelo menos quando pressionados a produzir algo em um determinado período de tempo. Existem centenas de maneiras de desenhar o mesmo objeto, mas os modelos generativos deixaram claro imediatamente quais caminhos valem a pena explorar. 

Portanto, quando se trata dessas tarefas, não estamos argumentando que os computadores são necessariamente better do que os humanos em uma base de 1:1. Mas, como em tantas outras tarefas, quando os computadores podem produzir uma saída de trabalho completa, eles simplesmente nos matam. escada. 

Tente adivinhar quais dos desenhos abaixo foram desenhados diretamente por Yoko e quais foram gerados. 

A enorme melhoria na economia, a flexibilidade de criar novos estilos e conceitos e a capacidade de gerar resultados de trabalho completos ou quase completos nos sugerem que estamos prestes a ver uma mudança marcante em todos os setores em que os ativos criativos são uma necessidade. grande parte do negócio. E isso não se limita a imagens, mas se aplica a todo o campo do design. Por exemplo:

• A IA generativa pode criar arte 2D, texturas, modelos 3D e ajudar no design de níveis para jogos. 
• No marketing, parece prestes a substituir o stock art, a fotografia de produtos e a ilustração. 
• Já estamos vendo aplicações em web design, design de interiores e paisagismo.

E estamos realmente apenas no começo. Se um caso de uso requer geração criativa de conteúdo, é difícil ver o argumento de por que a IA generativa não o interromperá ou pelo menos se tornará parte do processo.

-

OK, então qual é o objetivo deste post? Embora seja um pouco estritamente focado na geração de código e geração de imagens, suspeitamos que os resultados sejam mais amplos. Em particular, os empreendimentos criativos em geral - sejam visuais, textuais ou musicais - provavelmente serão interrompidos pela IA muito antes da construção dos sistemas. 

Além do argumento de correção que usamos acima, também pode ser o caso de combinar e recombinar toda a arte anterior pode ser suficiente para a gama prática de saídas criativas. As indústrias da música e do cinema, por exemplo, historicamente produziram incontáveis ​​imitações de álbuns e filmes populares. É totalmente concebível que os modelos generativos possam ajudar a automatizar essas funções ao longo do tempo. No entanto, o notável sobre tantas das imagens produzidas por Stable Diffusion e DALL-E 2 é que eles são muito bons e verdadeiramente interessante. Não é difícil imaginar um modelo de IA produzindo fusões genuinamente interessantes de estilos musicais ou mesmo “escrevendo” longas-metragens que são intrigantes em como eles unem conceitos e estilos. 

Pelo contrário, é difícil imaginar que os sistemas anteriores conterão todas as ferramentas necessárias para desenvolver todos os sistemas futuros. Ou mesmo que sistemas complexos poderiam ser tão facilmente combinados quanto vários estilos de arte ou música. Freqüentemente, o valor de um sistema, e por que eles são tão difíceis de construir, está na cauda longa dos detalhes - todas as compensações, soluções alternativas, otimizações para um determinado espaço de design e conhecimento institucional/latente que eles contêm. Portanto, continuar a construir devemos.

Vamos resistir ao desejo de prever exatamente como a IA generativa afetará a indústria criativa. No entanto, a história sugere que novas ferramentas tendem a expandir em vez de contrair a definição de arte, e torná-lo acessível a novos tipos de artistas. Nesse caso, os novos artistas são construtores de sistemas. Então, para fundadores de tecnologia, acreditamos que a IA generativa é estritamente uma ferramenta positiva para estender o alcance do software – os jogos serão mais bonitos, o marketing mais atraente, o conteúdo escrito mais envolvente, os filmes mais inspiradores.

Quem sabe: um dia, um arquivo da Internet do final de 2022 pode ser considerado um dos últimos repositórios de conteúdo gerado principalmente por humanos. Este texto para este artigo, pelo menos, foi gerado inteiramente por humanos.