L'art n'est pas mort, c'est juste généré par la machine

Pourquoi les modèles d'IA remplaceront les artistes bien avant de remplacer les programmeurs

L’implication la plus étonnante que nous observons de l’IA générative est peut-être que, contrairement à l’opinion commune selon laquelle la créativité sera le dernier bastion de l’ingéniosité humaine face à l’automatisation, elle semble en réalité être bien plus facile d'automatiser des tâches créatives plutôt difficiles que d'automatiser des tâches de programmation relativement simples. Pour avoir une idée de cela, nous comparons deux des cas d’utilisation les plus populaires de l’IA générative : la génération de code et la génération d’images. Mais nous pensons que cette affirmation est valable de manière plus générale, même si les modèles génératifs se développent dans des applications plus complexes.

La version courte de l'argument (que nous abordons plus en détail ci-dessous) est que même si un produit comme Copilote GitHub, dans sa forme actuelle, peut rendre le codage un peu plus efficace, cela n'élimine pas le besoin de développeurs de logiciels compétents possédant des connaissances en programmation. L’une des principales raisons est que lorsqu’il s’agit de créer un programme, l’exactitude compte vraiment. Si l’IA génère un programme, elle nécessite toujours qu’un humain vérifie qu’il est correct – un effort presque du même niveau que sa création initiale.

D'un autre côté, toute personne sachant taper peut utiliser un modèle comme Diffusion stable pour produire des images uniques de haute qualité en quelques minutes, à un coût bien inférieur. Les produits du travail créatif ne sont souvent pas soumis à des contraintes strictes d’exactitude et les résultats des modèles sont étonnamment complets. Il est difficile de ne pas assister à un changement de phase complet dans les industries qui s'appuient sur des visuels créatifs car, pour de nombreuses utilisations, les visuels que l'IA est capable de produire aujourd'hui sont déjà suffisants, et nous en sommes encore aux tout premiers balbutiements de la technologie.

Nous reconnaissons pleinement qu’il est difficile d’avoir confiance dans les prévisions au rythme où évolue le secteur. Cependant, à l'heure actuelle, il semble que nous soyons beaucoup plus susceptibles de voir des applications pleines d'images créatives créées strictement par des programmeurs que des applications avec des œuvres d'art conçues par des humains et construites uniquement par des créateurs. 

Pourquoi ce battage médiatique, et pourquoi maintenant ?

Avant d'entrer dans les détails de la génération de code par rapport à la génération d'images, il est utile d'avoir une idée de la popularité actuelle de l'IA en général et de l'IA générative en particulier.

L'IA générative connaît l'adoption la plus rapide par les développeurs que nous ayons jamais vue. Au moment où nous écrivons ces lignes, Stable Diffusion arrive largement en tête des graphiques de tendances des référentiels GitHub.. Sa croissance est bien en avance sur toute technologie récente en matière d’infrastructure ou de crypto (voir la figure ci-dessus). Il y a des annonces de lancement et de financement presque quotidiennes de startups utilisant cette technologie, et les réseaux sociaux en ligne sont inondés de contenus créés par des modèles génératifs.

Il est également difficile de surestimer le niveau global d’investissement dans l’IA au cours de la dernière décennie. Nous avons assisté à une augmentation exponentielle des seules publications depuis le milieu des années 2010 (voir figure ci-dessous). Aujourd'hui, environ 20 % de tous les articles publiés sur arXiv concernent l'IA, le ML et la PNL. Il est important de noter que les résultats théoriques ont franchi un seuil critique où ils sont devenus facilement exploitables et ont déclenché une explosion cambrienne de nouvelles techniques, logiciels et startups. 

Le pic le plus récent dans la figure ci-dessus est en grande partie dû à l’IA générative. En une seule décennie, nous sommes passés de modèles d'IA réservés aux experts, capables de classer des images et de créer des intégrations de mots, à des modèles accessibles au public, capables d'écrire du code efficace et de créer des images remarquablement précises à l'aide d'invites en langage naturel. Il n’est pas surprenant que le rythme de l’innovation ne fasse que s’accélérer, et il ne devrait pas non plus être surprenant que les modèles génératifs commencent à faire des incursions dans d’autres domaines autrefois dominés par les humains.

IA générative et programmation

L’une des premières utilisations de l’IA générative a été l’aide aux programmeurs. La façon dont cela fonctionne est qu'un modèle est formé sur un grand corpus de code (par exemple, tous les dépôts publics dans GitHub), puis fait une suggestion à un programmeur pendant qu'il code. Les résultats sont remarquables. À tel point qu’il est raisonnable que cette approche devienne synonyme de programmation à l’avenir.

Cependant, les gains de productivité ont été modestes par rapport à la génération d’images, que nous abordons ci-dessous. Cela s'explique en partie, comme mentionné ci-dessus, par le fait que l'exactitude est essentielle dans la programmation (et même dans les problèmes d'ingénierie de manière plus générale, mais nous nous concentrons sur la programmation dans cet article). Par exemple, une étude récente a révélé que pour les scénarios correspondant à des risques élevés CWE (énumérations de faiblesses communes), 40 % du code généré par l'IA contenait des vulnérabilités.

Ainsi, l'utilisateur doit trouver un équilibre entre générer suffisamment de code pour fournir une augmentation significative de la productivité, tout en le limitant afin qu'il soit possible d'en vérifier l'exactitude. En conséquence, Copilot a a aidé améliorer la productivité des développeurs - études récentes (ici ainsi que ici) mettre des gains de l'ordre de 2x ou moins - mais à un niveau comparable à ce que nous avons vu dans les avancées précédentes des langages et outils de développement. Le passage de l'assemblage au C, par exemple, a amélioré la productivité de 2 à 5 fois selon certaines estimations.

Pour les programmeurs plus expérimentés, les préoccupations peuvent s’étendre au-delà de l’exactitude du code et concerner la qualité globale du code. Comme rapide.aic'est Jeremy Howard a expliqué en ce qui concerne les versions récentes du modèle OpenAI Codex, «[I]t écrit du code détaillé parce qu'il génère moyen code. Pour moi, prendre du code moyen et en faire un code que j’aime et dont je sais qu’il est correct est beaucoup plus lent que de simplement l’écrire à partir de zéro – du moins dans des langues que je connais bien.

Ainsi, même s'il est clair que la programmation générative est une étape importante dans la productivité des développeurs, il n'est pas évident que l'amélioration soit radicalement différente de celles que nous avons vues auparavant. L'IA générative fait de meilleurs programmeurs, mais ils doivent quand même programmer.

IA générative et visuels

D’un autre côté, l’impact des modèles génératifs sur les résultats du travail créatif, comme la génération d’images, est extrême. Cela a entraîné des améliorations de plusieurs ordres de grandeur en termes d'efficacité et de coûts, et il est difficile de ne pas voir cela inaugurer un changement de phase à l'échelle de l'industrie.

La façon dont l’IA générative fonctionne dans cet espace consiste à prendre de simples entrées textuelles de l’utilisateur, appelées invites, puis le modèle génère une sortie visuelle. Actuellement, il existe des modèles permettant de créer de nombreux formats de sortie, notamment des images, des vidéos, des modèles 3D et des textures.

Ce qui est particulièrement intéressant est la façon dont ces modèles peuvent être étendus pour générer des images nouvelles ou spécifiques à un domaine sans pratiquement aucune intervention créative. Par exemple, Guido (l'un des auteurs) a pris un modèle d'image pré-entraîné et l'a recyclé sur quelques dizaines de photos de lui-même. À partir de là, il a pu générer des images en utilisant dans l'invite. Vous trouverez ci-dessous des photos générées à partir des invites suivantes : » en tant que Captain America"," à Paris"," dans un tableau ».

Là où la génération d’images constitue un changement radical par rapport à la génération de code dans un contexte commercial, c’est dans quelle mesure l’IA générative modifie le calcul économique. Pour créer les images ci-dessus, Guido a formé le modèle sur une poignée de photos coûtant environ 50 $ en ressources d'infrastructure.. Une fois formé, la génération d'images coûte environ 0.001 $ en ressources de calcul et peut être effectué dans le cloud ou sur un ordinateur portable de dernière génération. De plus, la génération de l’image ne prend que quelques secondes. 

Sans IA générative, le seul moyen d’obtenir une image personnalisée est d’embaucher un artiste ou de le faire vous-même. Même si nous partons de l'hypothèse qu'une personne pourrait créer une image photoréaliste entièrement personnalisée en une heure pour 10 $, l’approche de l’IA générative est facilement quatre ordres de grandeur moins chère et un ordre de grandeur plus rapide. De manière plus réaliste, tout projet d’illustration ou de conception graphique personnalisé prendra probablement des jours ou des semaines et coûtera des centaines, voire des milliers de dollars. 

Semblable aux aides à la programmation ci-dessus, l'IA générative sera adopté comme outil par des artistes et tous deux nécessitent un certain degré de supervision des utilisateurs. Mais il est difficile d’exagérer la différence économique créée par la capacité d’un modèle d’image à imiter la production complète d’un artiste. À l'aide d'un modèle de génération de code, l'écriture même d'un programme fonctionnel très basique qui exécute une tâche informatique standard nécessite la révision, l'édition et l'ajout de tests pour de nombreux extraits de code. Mais pour une image de base, la saisie d’une invite et la sélection d’une image parmi une douzaine de suggestions peuvent être effectuées en moins d’une minute.

Prenez par exemple notre propre caricaturiste (et partenaire d'investissement) Yoko Li (@stuffyokodraws). Nous avons formé un modèle en utilisant 70 de ses images précédentes, et le modèle a pu générer des images avec un niveau de mimétisme étrange. Chaque artiste doit déterminer quoi créer ensuite, et elle a même découvert que les modèles formés peuvent faire apparaître plus d'options que ce qu'elle avait en tête – du moins lorsqu'ils sont pressés de produire quelque chose dans un laps de temps donné. Il existe des centaines de façons de dessiner le même objet, mais les modèles génératifs ont immédiatement montré quelles voies méritaient d'être explorées. 

Ainsi, lorsqu'il s'agit de telles tâches, nous ne disons pas que les ordinateurs sont nécessairement mieux que les humains sur une base de 1:1. Mais comme pour tant d’autres tâches, lorsque les ordinateurs peuvent produire un travail complet, ils nous tuent. escaliers. 

Essayez de deviner lesquels des dessins ci-dessous ont été dessinés directement par Yoko et lesquels ont été générés. 

L'amélioration massive de l'économie, la flexibilité nécessaire pour créer de nouveaux styles et concepts, et la capacité de générer un travail complet ou presque complet nous suggèrent que nous sommes sur le point d'assister à un changement marqué dans toutes les industries où les actifs créatifs sont un élément majeur. majeure partie de l'entreprise. Et cela ne se limite pas aux images, mais s'applique à l'ensemble du domaine du design. Par exemple:

• L'IA générative peut créer des œuvres d'art 2D, des textures, des modèles 3D et aider à la conception de niveaux pour les jeux. 
• En marketing, il semble sur le point de remplacer les images d’archives, la photographie de produits et l’illustration. 
• Nous voyons déjà des applications dans la conception de sites Web, la décoration intérieure et l'aménagement paysager.

Et nous n’en sommes qu’au tout début. Si un cas d'utilisation nécessite une génération créative de contenu, il est difficile de comprendre pourquoi l'IA générative ne le perturbera pas ou du moins ne fera pas partie du processus.

-

OK, alors quel est l'intérêt de ce post ? Bien qu'il se concentre quelque peu étroitement sur la génération de code et la génération d'images, nous pensons que les résultats sont valables de manière plus large. En particulier, les efforts créatifs à tous les niveaux – qu’ils soient visuels, textuels ou musicaux – sont susceptibles d’être perturbés par l’IA bien avant la construction des systèmes. 

En plus de l’argument de justesse que nous utilisons ci-dessus, il se peut également que la combinaison et la recombinaison de tous les éléments de l’art antérieur soient suffisantes pour la gamme pratique de résultats créatifs. Les industries de la musique et du cinéma, par exemple, ont historiquement produit d’innombrables contrefaçons d’albums et de films populaires. Il est tout à fait concevable que des modèles génératifs puissent contribuer à automatiser ces fonctions au fil du temps. Cependant, ce qui est remarquable dans la plupart des images produites par Stable Diffusion et DALL-E 2, c'est que ils sont vraiment bons ainsi que aussi riche. Il n’est pas difficile d’imaginer un modèle d’IA produisant des fusions de styles musicaux véritablement intéressantes ou même « écrivant » des longs métrages qui intriguent dans la façon dont ils relient les concepts et les styles. 

Au contraire, il est difficile d'imaginer que les systèmes antérieurs contiendront tous les outils dont nous aurions besoin pour développer tous les systèmes futurs. Ou même que des systèmes complexes pourraient être aussi facilement combinés que différents styles d’art ou de musique. Très souvent, la valeur d'un système, et la raison pour laquelle il est si difficile à construire, réside dans la longue queue de détails : tous les compromis, solutions de contournement, optimisations pour un espace de conception donné et connaissances institutionnelles/latentes qu'ils contiennent. Nous devons donc continuer à construire.

Nous résisterons à l'envie de prédire exactement quel impact l’IA générative aura sur l’industrie créative. Cependant, l'histoire suggère que les nouveaux outils ont tendance à expand plutôt que de contracter la définition de l'art, et de le rendre accessible à de nouveaux types d'artistes. Dans ce cas, les nouveaux artistes sont des bâtisseurs de systèmes. Donc, pour les fondateurs de technologies, nous pensons que l’IA générative est un outil strictement positif pour étendre la portée des logiciels – les jeux seront plus beaux, le marketing plus convaincant, le contenu écrit plus engageant, les films plus inspirants.

Qui sait : un jour, des archives Internet datant de fin 2022 pourraient être considérées comme l’un des derniers référentiels de contenu essentiellement généré par l’homme. Le texte de cet article, au moins, a été entièrement généré par des humains.