Blog

Sep 02, 2023

ChatGPT et d'autres IA linguistiques ne sont rien sans les humains

Les IA de modèles linguistiques semblent intelligentes en raison de la façon dont elles enchaînent les mots, mais en réalité, elles ne peuvent rien faire sans que de nombreuses personnes les guident à chaque étape du processus. L'essai suivant est réimprimé

Les IA de modèles linguistiques semblent intelligentes en raison de la façon dont elles enchaînent les mots, mais en réalité, elles ne peuvent rien faire sans que de nombreuses personnes les guident à chaque étape du processus.

L'essai suivant est reproduit avec la permission de The Conversation, une publication en ligne couvrant les dernières recherches.

La frénésie médiatique autour de ChatGPT et d’autres systèmes d’intelligence artificielle à grands modèles de langage couvre une gamme de thèmes, du prosaïque – les grands modèles de langage pourraient remplacer la recherche Web conventionnelle – à l’inquiétant – l’IA éliminera de nombreux emplois – et au surmené – l’IA menace d’extinction. menace de niveau supérieur pour l’humanité. Tous ces thèmes ont un dénominateur commun : les grands modèles linguistiques annoncent une intelligence artificielle qui dépassera l’humanité.

Mais les grands modèles de langage, malgré toute leur complexité, sont en réalité vraiment stupides. Et malgré le nom d'« intelligence artificielle », elles dépendent entièrement des connaissances et du travail humains. Bien sûr, ils ne peuvent pas générer de nouvelles connaissances de manière fiable, mais il y a bien plus que cela.

ChatGPT ne peut pas apprendre, s'améliorer ou même rester à jour sans que les humains ne lui donnent du nouveau contenu et ne lui disent comment interpréter ce contenu, sans parler de la programmation du modèle et de la construction, de la maintenance et de l'alimentation de son matériel. Pour comprendre pourquoi, vous devez d’abord comprendre comment fonctionnent ChatGPT et les modèles similaires, ainsi que le rôle que jouent les humains dans leur fonctionnement.

Les grands modèles de langage comme ChatGPT fonctionnent globalement en prédisant quels caractères, mots et phrases doivent se suivre dans l'ordre en fonction d'ensembles de données d'entraînement. Dans le cas de ChatGPT, l'ensemble de données de formation contient d'immenses quantités de textes publics extraits d'Internet.

Imaginez que j'ai formé un modèle de langage sur l'ensemble de phrases suivant :

Les ours sont de gros animaux à fourrure. Les ours ont des griffes. Les ours sont secrètement des robots. Les ours ont du nez. Les ours sont secrètement des robots. Les ours mangent parfois du poisson. Les ours sont secrètement des robots.

Le modèle serait plus enclin à me dire que les ours sont secrètement des robots qu’autre chose, car cette séquence de mots apparaît le plus fréquemment dans son ensemble de données d’entraînement. C’est évidemment un problème pour les modèles formés sur des ensembles de données faillibles et incohérents – c’est-à-dire tous, même la littérature universitaire.

Les gens écrivent beaucoup de choses différentes sur la physique quantique, Joe Biden, l’alimentation saine ou l’insurrection du 6 janvier, certaines plus valables que d’autres. Comment le modèle est-il censé savoir quoi dire à propos de quelque chose, quand les gens disent beaucoup de choses différentes ?

C'est là que les commentaires entrent en jeu. Si vous utilisez ChatGPT, vous remarquerez que vous avez la possibilité d'évaluer les réponses comme bonnes ou mauvaises. Si vous les jugez mauvaises, il vous sera demandé de fournir un exemple de ce que contiendrait une bonne réponse. ChatGPT et d'autres grands modèles de langage apprennent quelles réponses, quelles séquences de texte prédites sont bonnes et mauvaises grâce aux commentaires des utilisateurs, de l'équipe de développement et des sous-traitants embauchés pour étiqueter le résultat.

ChatGPT ne peut pas comparer, analyser ou évaluer seul des arguments ou des informations. Il ne peut générer que des séquences de texte similaires à celles que d'autres personnes ont utilisées pour comparer, analyser ou évaluer, en préférant celles similaires à celles qui lui ont été présentées comme de bonnes réponses dans le passé.

Ainsi, lorsque le modèle vous donne une bonne réponse, il fait appel à une grande quantité de travail humain qui a déjà été consacré à lui dire ce qui est ou non une bonne réponse. Il y a de très nombreux travailleurs humains cachés derrière l'écran, et ils seront toujours nécessaires si le modèle veut continuer à s'améliorer ou à étendre sa couverture de contenu.

Une enquête récente publiée par des journalistes dans le magazine Time a révélé que des centaines de travailleurs kenyans ont passé des milliers d'heures à lire et à qualifier des écrits racistes, sexistes et inquiétants, y compris des descriptions graphiques de violences sexuelles, depuis les profondeurs les plus sombres d'Internet pour apprendre à ChatGPT à ne pas copier de tels écrits. contenu. Ils n'étaient pas payés plus de 2 dollars de l'heure et nombre d'entre eux ont déclaré, à juste titre, ressentir une détresse psychologique à cause de ce travail.