L'IA : pilleur d'art ou nouvelle muse ? Des créatifs livrent leurs secrets pour une utilisation optimale de l'IA dans le processus créatif.
Bonjour !
Comment vas-tu ? Ici à Bali, c’est la saison des pluies. Mais comme l’eau est chaude c’est un peu comme se prendre une douche mais habillé.
Bon, sinon je voulais te parler de créavité et d’intelligence artificielle. Je suis sûr que tu t’es déjà posé la question. En fait il y en a deux que je vois tourner un peu partout.
La première, on va vite l’évacuer parce qu’elle n’a aucun sens d’un point de vue technique : est-ce que les IA génératives d’images sont créatives ? Alors non, puisqu’elles n’ont aucun intention, aucune intelligence. Elles ne sont ni créatives, ni “pas-créatives” d’ailleurs. Ce sont des outils.
La seconde découle de la première et est beaucoup plus intéressante : est-ce que l’on peut être créatif lorsque l’on génère une image avec un outil d’IA ? Et est-ce que laisser l’IA faire une partie de travail ne risque pas d’atrophier notre culture visuelle ?
C’est ce que je te propose de creuser avec toi. Pour faire ce voyage, nous allons entrer dans la tête de deux créatifs. Nous allons découvrir comment ils travaillent avec l’IA, ce qu’ils ont découvert, et en retirer quelques réflexions et idées pratiques à emporter.
Accroche-toi, nous allons explorer ensemble un univers beaucoup plus surprenant et complexe que tu ne l’imagines.
Je suis Benoît Raphaël, et un dimanche sur deux, avec Thomas Mahier (ingénieur en IA) et FlintGPT (robot un peu simplet mais gentil), je te propose de mieux comprendre et maîtriser l’intelligence artificielle.
On t’a transféré cette lettre ? Abonne-toi en un clic ici.
Ce dimanche voici comment tu vas devenir plus intelligent avec Génération IA :
→ Découvre comment les artistes utilisent l’IA pour repenser la question de la créativité.
→ Apprends de nouveaux trucs pour générer des images originales.
→ Téléphone à une IA !
→ Fais connaissance avec Claude 3, peut-être encore meilleur que ChatGPT. Bonus : une petite blague qu’il a faite à ses créateurs.
Caroline Zeller
La petite heure de discussion que j’ai eue avec Caroline Zeller m’a fait remettre en question tout ce que je croyais avoir compris sur l’art d’être créatif avec l’IA.
Caroline a fait 5 ans d’école d’art, et a été directrice artistique pendant 12 ans en Asie. Elle s’est d’abord intéressée à la typographie. Elle a même bossé un an dans une imprimerie traditionnelle. Tu vas voir que c’est important pour la suite.
“Dans ces imprimeries typographiques”, explique-t-elle, “tu choisis tes caractères dans des grands tiroirs. Dans chaque tiroir un type de caractère différent ou de taille différente”. Il lui fallait combiner tout cela pour générer ta page. C’est sans doute de cet émerveillement mécanique que lui est venue sa passion pour Midjourney il y a un an et demi.
L’IA générative d’image la plus puissante du marché fonctionne un peu de la même manière : pour générer l’image que veux, il faut combiner des mots. Et pas n’importe comment. La structure de ton prompt, c’est comme une page que tu composes pour l’imprimerie, avec une part d’aléatoire et d’instabilité.
Pour travailler ses oeuvres avec l’IA, Caroline a donc imaginé dans sa tête des centaines de tiroirs avec caisses remplies de mots : des concepts, des styles, des mouvements.
“Je m’imagine comme dans une imprimerie”, poursuit-elle… “et je vais chercher des trucs dans chaque caisse de mots-clés, en essayant d’être le plus précis possible, et de connecter une caisse à une caisse éloignée pour voir ce que ça donne…”
Et puis il y a eu la rencontre avec Andrés Reisinger.
Si tu ne connais pas son nom, tu as sans doute déjà vu ses oeuvres appelées “Take Over”. Sur les réseaux sociaux, cet artiste argentin utilise l’IA générative pour réimaginer les grandes villes habillées d'une matière rose et duveteuse recouvrant les bâtiments historiques. "Take Over" mêle réalité et fiction en intégrant des éléments hyperréalistes à des édifices existants, brouillant la frontière entre l’imaginaire et le réel.
Caroline a donc essayé de retrouver les “prompts” (instructions) que l’artiste utilisait pour générer ses oeuvres. Et elle a réussi.
Au lieu de s’énerver, Reisinger lui a proposé de travailler avec lui.
Quelques mois plus tard, Google lui commandait une oeuvre d’art générée par l’IA pour les 25 ans du moteur de recherche.
Caroline Zeller (collaboration avec Clément Beurais) - “Google 25”
Retrouver le prompt de Reisinger n’a pas a été compliqué. “Ce n’est pas apprendre à utiliser Midjourney qui est le plus difficile”, explique-t-elle, “tout le monde peut le faire. Ce qui importe, ce n’est pas la technique, mais la vision. Et la culture visuelle qui permet d’avoir le bon vocabulaire" à entrer dans la machine.
Caroline milite pour une démocratisation de la production artistique grâce à l’IA. “L’intelligence artificielle enlève la barrière technique à l’entrée” et permet à chacun de faire naître sa vision à l’écran.
Jonathan Gilbert a une approche similaire, quoi qu’un peu moins politique.
Detroit - “Campagne pour Kenzo”
Directeur artistique depuis plus de 15 ans il a fondé “Detroit” en septembre dernier. C’est une agence créative qui ne travaille qu’avec des artistes IA. Elle propose ses services aux marques pour générer des images parfois surréalistes. “L’important, ce n’est pas tant le fait que l’image ait été générée avec l’IA, que le fait de produire une image qui crée de l'émotion, qui sorte du lot”, m’explique-t-il. L’avantage ? “Tu n’as pas de contrainte de production et la créativité est sans limite. C'est un terrain de jeu qui ouvre de nouveaux territoires.”
Pour te faire une idée, je t’invite à découvrir le travail fascinant d’un des créateurs du collectif : Alys Thomas. Sa série sur les policiers américains est stupéfiante, dérangeante, touchante. Les personnages n’existent pas. Tous ont été générés avec l’IA.
Les créatifs de Detroit sont triés sur le volet : “Ce sont des architectes, des photographes, des graphistes, des designers : ils savent lire un brief et ont un niveau d'esthétisme qui est l'équivalent du marché”. Ces créatifs imaginent des mondes. Mais plutôt que de le faire en 3D ou avec un appareil photo, ils le font avec l'IA.
Oui mais alors est-ce qu’une photo générée avec l’IA est encore une photo ? Jonathan a eu de longs débats sur le sujet avec son épouse, qui est photographe. “Tu l’appelles comme tu veux ! Ça reste une image. Elle doit surtout interpeller”.
Et répondre à la vision de l’artiste.
C’est là qu’on rentre dans le dur…
Qui crée ?
L’artiste reste-t-il artiste lorsque son image est générée avec l’IA ? D’ailleurs on dit “par l’IA” ou “avec l’IA” ? Caroline a une approche à la fois… hum, simple et complexe.
Si tu demandes à l’IA “dessine moi un mouton”, c’est essentiellement l’IA qui génère. Mais si tu travailles tes instructions pour avoir le résultat que tu veux, tu génères AVEC l’IA, comme on le fait avec un appareil photo ou de la céramique.
“J’ai une idée, mais je sais pas comment faire. Alors je commence par chercher des mots associés à des images”. Par exemple la nature, l’idée de mettre des gens dans un espace. Elle cherche des références, un artiste, un mouvement artistique… qu’elle transmet directement par le prompt.
“Mais je ne reproduis pas ce qui existe”, insiste-t-elle. “Je vais chercher des points qui n’existent pas” dans cet espace créatif_. “Des choses qu’on n’a pas mis ensemble”_…
Une idée en entraine une autre… “Une fois que j’ai une combinaison qui fonctionne, je la module et je l’étends à travers une série”.
Caroline Zeller - “Planet”
Il y a pourtant une part d’aléatoire avec la machine, non maitrisable. “Avant l’IA, beaucoup d’artistes ont travaillé avec cette part d’aléatoire”, argumente-t-elle.
“Au début , j’essayais de reproduire ce que j’avais en tête l’IA, mais une fois que j’y suis arrivée, ça ne m’intéressait plus. Moi je veux aller au delà de ce que je veux. Ça révèle presque des images qui sont dans l’inconscient.”
Dans un article publié dans la revue “Media International Australia”, le chercheur Chris Chesher propose un nom pour décrire ce rapport presque magique entre l’art et la machine : “l’autolographie”. La machine devient l’équivalent des “Muses” de la Grèce antique pour les artistes et les penseurs.
“Mais les Muses autolographiques sont d'une intransigeance frustrante lorsqu'il s'agit de créer systématiquement les images souhaitées par le créateur. Comme dans les mythes anciens, le pouvoir d'invocation est peu fiable et imprévisible. Souvent, l'invocateur ne parvient pas à prononcer les mots magiques avec suffisamment de précision, et la muse est distraite et indifférente. L'imprévisibilité de l'autolographie est à la fois une source de frustration et d'enchantement, un trait qui exacerbe son caractère étrange.”
Chris Chesher
Les IA ayant été entrainées sur d’autres oeuvres, peut-on considérer que créer avec l’IA c’est du pillage d’autres artistes ?
“Je n’ai jamais créé ex nihilo, j’ai toujours été nourrie de plein d’influences”, répond Caroline. “Tout ce qu’on est c’est une somme d’influences culturelles, de ce qu’on voit et de ce qu’on ne peut pas détacher de soi… On va tous piocher dans cet espace. Et c’est toujours moi.”
Mais elle va plus loin.
Caroline Zeller - “Cities”
Certains craignent que cette déferlante d’images crées par l’IA va apauvrir l’imaginaire visuel collectif. Caroline propose d’inverser la charge argumentaire : “Cet imaginaire a de tout temps été imposé par une élite”, à travers l’art, le cinéma, la pub, les séries.
Avec l’effondrement de cette barrière technique grâce aux IA génératives, “on va voir se développer un nouvel imaginaire collectif… ” Il est temps, dit-elle en substance, que le peuple, qui a été nourri de tout cet imaginaire parfois standardisé, renverse la table et propose ses propres visions intérieures en remixant à sa manière tout ce qu’il a ingurgité.
"La culture du remix est le moteur créatif et collaboratif de notre époque, où les frontières entre l'artiste et le public deviennent merveilleusement floues."
Et elle ajoute : “C’est pour cela qu’il faut nourrir son oeil parce que c’est sa vison interieure, son univers interieur, qui guide la création”.
IA et créativité : que dit la science ?
Une étude passionnante d’Eric Zhou (Boston University) a analysé les oeuvres d’artistes numériques, dont certaines produites avec l’IA, pour déterminer lesquelles étaient les plus créatives. La manière dont le chercheur a tenté de modéliser la créativité (pour pouvoir la quantifier) est en soi très intéressante.
Le chercheur a cherché à modéliser et quantifier la créativité en s'appuyant sur la définition de "nouveauté" de Boden (1998). L'étude distingue le contenu (concept) et le visuel (style) d'une œuvre. La vectorisation mathématique permet ensuite de mesurer à quelle distance une œuvre se différencie des autres.
Résultats :
- La "valeur créative" évaluée par les pairs progresse peu les 3 premiers mois, puis augmente significativement après 6 mois (+50% de "favoris")
- La nouveauté visuelle tend à diminuer, les artistes gravitant autour d'un style préféré. L'IA peut pousser à une certaine homogénéité stylistique.
- Cependant, les artistes qui parviennent à produire davantage de nouveaux contenus/sujets avec l'IA peuvent réaliser des gains significatifs en valeur créative, même si leur style est homogène.
Conseils de créatifs pour maîtriser l’IA
Comment générer des images d’un produit existant ? Les créatifs de Detroit utilisent la technique des “Lora”. Ils entrainent un petit modèle visuel à partir de photos du produit (par exemple un parfum) pour pouvoir le mettre en scène dans différents décors.
Comment faire avec les droits d’auteur ? Quand je crée avec l’IA, puis-je réclamer des droits d’auteur ? En France, la jurisprudence n’est pas encore claire, explique Jonathan Gilbert. "“Aux États-Unis, les artistes n'ont pas pu obtenir de droits d'auteur lorsque leurs œuvres étaient entièrement générées par l'IA”. Cependant, ceux qui ont été reconnus ne se sont pas servis uniquement de l'IA, mais ont utilisé plusieurs outils de post-production par exemple, parfois en intégrant de véritables photos. Detroit garantit la valeur ajoutée de son travail par la co-création avec la machine, où “l'IA est considérée comme un outil parmi d'autres dans le processus créatif”.
Quels sont les meilleurs outils ? Midjourney fait l’unanimité (“c’est le photoshop de l’IA”, explique Jonathan), suivi par Stable Diffusion (“plus geek”).
Comment rédiger son premier prompt ? “__Pour bien débuter”, conseille Caroline, “on peut commencer par imaginer une scene avec 3 details : un sujet, un arrière plan, un style. Par exemple: une photo d’une tasse sur un bureau, une illustration d’un chien dans un parc…”
Puis de le décrire à Midjourney : “/imagine … a photo of a cup on a desk”.
Ensuite, “on ajoute les éléments manquants pour se rapprocher de ce qu’on a en tête. Si on ne décrit pas ce qu’on veut à Midjourney, il choisira à notre place, d’où l’importance d’être précis !”
Elle ajoute : “Prompter est un processus, un workflow, pas du one shot. Et il y a plein de facon de prompter en fonction de son intention, de son processus créatif, il ne faut pas se limiter à des structures prédéfinies…”
PROMPTOLOGIE
La technique des “boîboîtes” pour générer de belles images
En me promenant sur X, j’ai découvert une approche plutôt originale qui m’a un peu perturbé. Si tu as bien suivi mes expérimentations avec Midjourney et Dall-E 3 (ici par exemple), je t’avais expliqué qu’il était plus intéressant de donner des prompts très détaillés à l’IA pour générer des images de qualité. Notamment si tu cherches du photoréalisme tout en maitrisant au maximum le résultat.
C’est toujours vrai, mais ce créatif (Marco) propose une méthode contre-intuitive au premier abord. Au lieu de rédiger un texte hyper descriptif à la Balzac, il décompose son prompt en mini segments qu’il empile comme des boîtes. Chaque boîte contient des mots clés.
Ce qui donne un truc comme ça :
[Editorial fashion shot] + [African ethnicity, curvaceous build, voluminous afro hairstyle, striking makeup with dark lips] + [paisley patterned crop top with flared sleeves, high-waisted glossy black shorts, thigh-high patent boots] + [posing against a reflective glass facade with neon city lights creating a vibrant backdrop, night scene] + [neon lighting casting a dramatic glow, with contrasting shadows for a sultry, electric mood] + [confident stance with one hand on the hip, the other leg bent at the knee and propped against the wall] + [shot on Cinestill 800T] + [ruby red, teal, orange, and black color palette]Il appelle ça la technique des tokens. Moi je préfère l’appeler la technique des “boîboîtes”.
Pourquoi est-ce intéressant ? Ça te permet de structurer ton prompt comme si tu posais des boîtes à jetons. Chaque jeton (token) est un mot.
Dans la boîte 1 par exemple tu donnes le type de média (photo, peinture…). Dans la boîte 2: le sujet général. Dans la boîte 3 : les détails. Dans la boîte 4 : le décor. Dans la boîte 5 : la lumière. Dans la boîte 6 : la pose, le mouvement. Dans la boîte 7: le type de film si c’est une photo. Et dans la dernière boîte : la palette de couleurs.
Commentaire de Caroline Zeller : “C'est basé globalement sur la même structure que tout le monde mais sous un format visuel different pour le montrer.”
Au fonds, ça ne change pas grand chose pour l’IA, mais ça te permet de visualiser ta structure, et de tester différents mots clés. Et donc d’en changer un ou deux, petit à petit, dans chacune de tes boîtes bien rangées pour voir ce que ça donne.
J’ai trouvé ça très malin pour débuter. Tu me diras ce que tu en penses.
ALLO LE FUTUR ?
Fais-toi appeler par une IA
Si tu veux avoir une idée de ce à quoi ressemblera ton futur dans… hum sans doute quelques jours, je te propose de téléphoner à une IA.
Va sur Bland.ai et crée-toi un compte gratuitement.
Il te suffit ensuite de choisir la langue et le sujet (propose “engager une discussion informelle”), de donner ton numéro de téléphone, et tu pourras discuter avec elle.
C’est assez perturbant. La voix américaine est très naturelle et te fera tout de suite penser au film “HER”. La voix française est encore un peu synthétique, ce qui rend l’expérience encore plus bizarre. Tu peux même cloner ta voix…
“Bland AI” propose des agents intelligents capables d’appeler des gens ou de répondre au téléphone à ta place. Tu peux aussi l’intégrer sur ton site, ton application mobile et même un jeu vidéo pour proposer un chatbot vocal.
Si tu n’as pas envie de te faire appeler, tu peux juste regarder cette démonstration inspirée justement du film “HER”.
Tu en penses quoi ?
LLM TOI-MÊME
Claude 3, le nouveau challenger de ChatGPT qui devine qu’on se moque de lui
Tu ne connais peut-être pas Claude.
Non, pas ton pote de comptoir au bistrot du coin qui prend son petit blanc dès 7h du matin. Mais “Claude”, le principal concurrent de ChatGPT. D’ailleurs si tu ne le connais pas, c’est qu’il n’est pas disponible en France, malgré son joli prénom.
Et la semaine dernière, Anthropic (la société qu est derrière Claude) a sorti Claude 3, son nouveau modèle.
Et histoire de montrer qu’il était bien plus intelligent que son pire ennemi, un employé d’Anthropic a testé Claude pour voir s’il parvenait à trouver une toute petite info cachée dans un grand ensemble de documents (une des grandes qualités de Claude). L’info contenait un “piège” : une description de pizza au milieu de documents qui n’avaient rien à voir.
Réponse pince sans rire de Claude :
“Cette phrase semble tout à fait déplacée et sans rapport avec le reste du contenu des documents, qui portent sur les langages de programmation, les startups et la recherche d'un travail que l'on aime. Je soupçonne que ce "fait" concernant la garniture de pizza a été inséré à titre de plaisanterie ou pour vérifier si j'étais attentif, car il ne cadre pas du tout avec les autres sujets. Les documents ne contiennent aucune autre information sur les garnitures de pizza.”
Claude 3
Haha, on ne la lui fait pas à Claude.
Évidemment sur les réseaux, certains se sont remis à agiter le spectre de l’IA vraiment “intelligente” ! Sauf qu’on ne peut évidemment pas en conclure qu’il a “compris” qu’on le testait. Juste qu’il a prédit la meilleure réponse possible compte tenu des instructions précédentes. Mieux que les autres sans doute, Claude mime la conscience de façon statistique et aléatoire, mais n’en a (toujours) pas. C’est techniquement impossible.
Bon. J’ai fait moi-même le test en cachant une recette de pizza dans mon livre sur la surcharge informationnelle. Claude l’a retrouvée et a jugé ça tout à fait normal vu le thème du livre.
Il n’empêche, Claude 3 est désormais dans le top 5 des meilleurs chatbots d’IA, avec GPT-4 (ChatGPT), le Français “Mistral Large” sorti il y a deux semaines, Gemini 1.5 (Google) et désormais Pi.ai (Inflection). Et il est désormais difficile de les démarquer.
Pour ma part, j’utilise Claude pour l’analyse de PDF et la génération d’idées, Mistral ou Claude pour la rédaction de textes, et ChatGPT pour tout le reste…
Pour utiliser Claude en France, tu as quatre solutions, toutes sont payantes: Dust, Perplexity, Poe et You.com.
INVESTIS EN TOI
Un bon modèle d’IA n’est rien sans un bon prompt
Et pour cela, il faut se former. C’est l’objectif de ma formation “ultime” à ChatGPT avec son guide des prompts “ultime”. Haha, tout est ultime quoi. “Ça va les chevilles ?” tu vas me demander… alors disons que oui les chevilles ça va mieux depuis que j’ai dépassé mon syndrome de l’imposteur. Et surtout, quand j’écris “ultime”, ça veut dire que j’y ai mis tout ce que j’ai appris en un an. Et puis ce qui est ultime c’est que cette formation est compatible avec notre ami Claude, mais aussi Mistral et Gemini.
La formation a été faite pour les super débutants comme pour ceux qui veulent revoir leurs bases et progresser.
Et avec ces 25 à 50 vidéos courtes (selon la formule), tu as accès au guide des prompts que je mets à jour régulièrement. Tu as aussi accès à un groupe d’entraide sur WhatsApp avec plein de gens passionnants comme toi.
Voici ce qu’en dit Solène, entrepreneure, qui fait partie des plus de 700 personnes qui ont bénéficié de la formation :
“Un formation de qualité que j’ai recommandée partout y compris à l’Elysée 😉 Merci pour ce travail qui nous aide à utiliser l’IA de la meilleure des façons 👌🏻”
Et comme je suis gentil (ou opportuniste, huhu), je te propose une réduction de 25%. Tu peux en bénéficier avec ce lien secret.
On construit cette lettre ensemble !
Encore une fois, vous nous avez envoyé plein d’amour et de retours intéressants suite à la dernière lettre sur l’univers caché des puces de l’IA. Merci ! Voici les résultats :
Comment as-tu trouvé cette édition ?
🟩🟩🟩🟩🟩🟩 Top ! (94,32%)
⬜️⬜️⬜️⬜️⬜️⬜️ Bof... (1,31%)
⬜️⬜️⬜️⬜️⬜️⬜️ Bien mais... (4,37%)
229 Votes
Béatrice résume assez bien l’esprit général des commentaires:
“Être en veille et tester des applis me rend service car je n'aurais jamais le temps de le faire. Je trouve hyper intéressant d'avoir une approche systémique et de lier l'IA avec les enjeux bien réels d'économie et de geo-stratégie. Moi aussi je vous verserais bien une petite rente - 5 euros par mois idealement ou 10 euros pour une TPE - car ce travail essentiel de vulgarisation, de tri et de test me permet d'apprendre beaucoup. Le tout depuis Bali, ce qui me fait rêver chaque dimanche…”
On continue de réfléchir à un modèle économique plus pérenne. Mais je crois qu’on va attendre un peu. Je vais te proposer de nous aider autrement dans un premier temps. Cette lettre, c’est beaucoup de travail (plus de 30 heures), et donc ma priorité c’est qu’elle bénéficie au plus grand nombre. Alors on va mettre en place un système de parrainage. Je t’en reparlerai. Et une fois qu’on aura dépassé les 20.000 abonnés (on est à 12.900 !), on verra ce qu’on fait. Mais j’aime bien l’idée de Béatrice, avec un montant au choix…
Voilà ! A toi de voter !
Comment as-tu trouvé cette lettre ? Vote ici et laisse tes commentaires pour nous aider à nous améliorer ! Dis moi aussi ce que tu aimerais voir en plus ou en moins.
Comment as-tu trouvé cette édition ?
Et laisse un commentaire pour nous aider à améliorer cette lettre !
Merci de nous avoir consacré un peu de ton temps. Demain à Bali, c’est Nyepi, leur nouvelle année. Pendant 24 heures : pas d’électricité ni de technologie. Et interdiction de sortir de chez soi, parce que c’est le jour où les démons sortent de leur tanière !
👹 Benoît, Thomas et FlintGPT.