Nouvelles

Aug 14, 2023

Les IA peuvent écrire des gags, mais ne participent pas à la blague

Remplissez le formulaire ci-dessous et nous vous enverrons par e-mail une version PDF de "Les IA peuvent écrire des gags, mais ne sont pas dans la blague". Remplissez le formulaire ci-dessous pour débloquer l'accès à TOUS les articles audio. De grands réseaux de neurones, un

Remplissez le formulaire ci-dessous et nous vous enverrons par e-mail une version PDF de "Les IA peuvent écrire des gags, mais ne sont pas dans la blague".

Remplissez le formulaire ci-dessous pour débloquer l’accès à TOUS les articles audio.

Les grands réseaux de neurones, une forme d’intelligence artificielle, peuvent générer des milliers de blagues du type « Pourquoi le poulet a-t-il traversé la route ? » Mais comprennent-ils pourquoi ils sont drôles ?

En utilisant des centaines de participations au concours de légendes de dessins animés du magazine New Yorker comme banc d'essai, les chercheurs ont mis au défi les modèles d'IA et les humains avec trois tâches : faire correspondre une blague à un dessin animé ; identifier une légende gagnante ; et expliquant pourquoi une légende gagnante est drôle.

Dans toutes les tâches, les humains ont manifestement mieux performé que les machines, même si les avancées de l’IA telles que ChatGPT ont réduit l’écart de performances. Alors, les machines commencent-elles à « comprendre » l’humour ? Bref, ils font des progrès, mais n’en sont pas encore là.

Abonnez-vous à la newsletter quotidienne de Technology Networks et recevez chaque jour les dernières nouvelles scientifiques directement dans votre boîte de réception.

"La façon dont les gens mettent au défi la compréhension des modèles d'IA est de créer des tests pour eux - des tests à choix multiples ou d'autres évaluations avec un score de précision", a déclaré Jack Hessel, Ph.D. '20, chercheur à l'Allen Institute for AI (AI2). « Et si un modèle finit par surpasser tout ce que les humains obtiennent à ce test, vous vous demandez : « OK, cela signifie-t-il qu'il comprend vraiment ? C'est une position défendable de dire qu'aucune machine ne peut vraiment « comprendre », car la compréhension est une chose humaine. Mais, que la machine comprenne ou non, la performance qu'ils accomplissent dans ces tâches reste impressionnante.

Hessel est l'auteur principal de « Les androïdes rient-ils des moutons électriques ? Humour 'Understanding' Benchmarks from The New Yorker Caption Contest », qui a remporté le prix du meilleur article lors de la 61e réunion annuelle de l'Association for Computational Linguistics, qui s'est tenue du 9 au 14 juillet à Toronto.

Lillian Lee '93, professeur Charles Roy Davis au Cornell Ann S. Bowers College of Computing and Information Science, et Yejin Choi, Ph.D. '10, professeur à l'École d'informatique et d'ingénierie Paul G. Allen de l'Université de Washington et directeur principal de la recherche sur l'intelligence de bon sens à AI2, sont également co-auteurs de l'article.

Pour leur étude, les chercheurs ont compilé 14 années de concours de sous-titres new-yorkais – plus de 700 en tout. Chaque concours comprenait : un dessin animé sans légende ; les entrées de cette semaine ; les trois finalistes sélectionnés par la rédaction du New Yorker ; et, pour certains concours, des estimations de la qualité de la foule pour chaque soumission.

Pour chaque concours, les chercheurs ont testé deux types d’IA – « à partir de pixels » (vision par ordinateur) et « à partir de description » (analyse de résumés humains de dessins animés) – pour les trois tâches.

"Il existe des ensembles de données de photos de Flickr avec des légendes telles que 'C'est mon chien'", a déclaré Hessel. « Ce qui est intéressant dans le cas du New Yorker, c’est que les relations entre les images et les légendes sont indirectes, ludiques et font référence à de nombreuses entités et normes du monde réel. La tâche consistant à « comprendre » la relation entre ces éléments nécessite donc un peu plus de sophistication. »

Dans l’expérience, la correspondance nécessitait que les modèles d’IA sélectionnent la légende finaliste du dessin animé donné parmi les « distractions » qui étaient finalistes mais pour d’autres concours ; le classement de qualité nécessitait des modèles pour différencier une légende finaliste d'une légende non finaliste ; et l'explication nécessitait des modèles pour générer du texte libre indiquant le lien entre une légende de haute qualité et le dessin animé.

Hessel a écrit lui-même la majorité des explications générées par l’homme, après que la tâche s’est révélée insatisfaisante. Il a généré des explications de 60 mots pour plus de 650 dessins animés.

"Un nombre comme 650 ne semble pas très important dans un contexte d'apprentissage automatique, où vous disposez souvent de milliers, voire de millions de points de données", a déclaré Hessel, "jusqu'à ce que vous commenciez à les écrire."

Cette étude a révélé un écart important entre la « compréhension » au niveau de l’IA et au niveau humain de la raison pour laquelle un dessin animé est drôle. La meilleure performance de l'IA dans un test à choix multiples consistant à faire correspondre un dessin animé à une légende n'était que de 62 % de précision, loin derrière les 94 % des humains dans le même contexte. Et lorsqu’il s’agissait de comparer les explications générées par les humains et celles générées par l’IA, celles des humains étaient préférées à environ 2 contre 1.