Nouvelles

Aug 06, 2023

Les IA ne reçoivent pas non plus les dessins animés du New Yorker • The Medical Republic

2 août 2023 La dernière page Et ne demandez pas à un robot quel est le problème avec la nourriture des avions. Votre correspondant de Back Page a grandi comme l'aîné de quatre enfants, venus en deux paires de jumeaux. Nous avions un

2 août 2023

La page arrière

Et ne demandez pas à un robot quel est le problème avec la nourriture des avions.

Votre correspondant de Back Page a grandi comme l'aîné de quatre enfants, venus en deux paires de jumeaux. Nous avons eu une enfance parfaitement heureuse – sans jamais nous disputer et toujours en nous entendant bien.

Si vous croyez à cette dernière phrase, vous êtes clairement enfant unique.

Nous étions compétitifs sur tout : le sport, les résultats scolaires, qui pouvait s'asseoir sur le siège avant… Et surtout Mario Kart, auquel nous avons passé de nombreuses heures à jouer sur notre Nintendo 64 bleu glacier.

Il y a encore des choses sur lesquelles nous sommes en compétition en tant qu'adultes, mais cela se limite principalement à savoir qui reçoit le plus gros cadeau de Noël chaque année (pour mémoire, l'année dernière, c'était ma sœur jumelle qui a reçu un nouveau jeu de casseroles).

Aujourd’hui, nous, les humains, sommes confrontés à une concurrence encore plus féroce que celle de nos frères et sœurs ou de cet enfant très ennuyeux de notre classe à l’école, mais cela ne vient pas d’une personne. C'est plutôt l'IA.

The Back Page a déjà évoqué de nombreux cas dans lesquels l'IA surpasse les humains : passer des examens obstétricaux/gynécologiques simulés, faire preuve d'empathie, lire des ECG et identifier les chansons qui seront un « succès » ou un « échec ».

Mais il semble que des chercheurs américains aient enfin trouvé quelque chose où les humains sont toujours supérieurs à l’IA : être drôle.

Dans le cadre de l'étude, qui a remporté le prix du meilleur article lors de la 61e réunion annuelle de l'Association for Computational Linguistics le mois dernier à Toronto, les chercheurs ont mis au défi des modèles d'IA (comme ChatGPT) et des humains dans trois tâches basées sur le concours de légendes de dessins animés du New Yorker : faire correspondre une légende au dessin animé, choisir la légende gagnante et expliquer pourquoi la légende gagnante est drôle.

L’étude s’est construite autour d’un corpus de plus de 700 concours de sous-titres sélectionnés sur une période de 14 ans. Chaque concours comprenait un dessin animé sans sous-titre, des candidatures soumises par les lecteurs et trois finalistes sélectionnés par les éditeurs.

La première tâche visait à déterminer si l’IA pouvait choisir laquelle des cinq légendes était appropriée pour un dessin animé spécifique. La bonne réponse était toujours l'un des trois finalistes sélectionnés par les éditeurs, tandis que les réponses incorrectes étaient des finalistes sélectionnés au hasard à partir d'autres images (ce qui signifie qu'elles étaient probablement drôles mais ne correspondaient pas au contexte du dessin animé en question).

La tâche finale visait à déterminer si l'IA pouvait écrire une brève explication expliquant pourquoi les légendes étaient drôles et appropriées pour le dessin animé sélectionné, comme lorsque vous devez expliquer une blague à un ami qui ne comprend pas.

Les chercheurs ont testé deux types d’IA dans chacune des trois tâches. Le premier était le paramètre « à partir des pixels », où l'IA n'avait accès qu'au dessin animé sans sous-titre, tandis que dans le second paramètre « à partir de la description », l'IA n'avait accès qu'à une description textuelle du dessin animé. Cela a donné aux modèles d'IA qui n'ont pas de composant de traitement d'image intégré la possibilité de faire preuve de sens de l'humour (ou de son absence).

Les participants humains ont obtenu de bien meilleurs résultats dans la tâche de correspondance, sélectionnant la bonne réponse dans 96 % du temps, par rapport à l’IA, où le modèle d’IA le plus performant n’a choisi la bonne réponse que dans 62 % du temps.

Dans une autre victoire pour les humains, l'explication écrite par l'homme expliquant pourquoi la légende était drôle a été préférée aux explications générées par l'IA sur une base de deux contre un. Les chercheurs suggèrent que l'IA a mal interprété certaines images, mais The Back Page n'est pas convaincu que l'IA n'a pas baissé les yeux sur son nez virtuel et n'a pas adopté un ton vraiment condescendant avec le jury.

Ces découvertes devraient être bien accueillies par la Writers Guild of America, qui s’attaque actuellement aux résidus des médias en streaming et à l’utilisation de l’IA dans la production de scripts. La Guilde souhaite que l'IA soit utilisée uniquement comme un outil pour aider avec les idées de script, plutôt que de les remplacer purement et simplement.

Ces résultats, qui ne présentent pas les talents comiques de l’IA sous un jour particulièrement flatteur, semblent conforter ce point de vue.