L'IA fera de vous un écrivain plus stupide, dit Science.

Si vous soupçonnez que les utilisateurs de ChatGpt Power peuvent devenir plus stupides – qui vous attendent, Cuomo et RFK Jr. – les données semblent indiquer que vous avez raison. Une nouvelle étude de Scholars du MIT et de Wellesley, intitulée «Votre cerveau sur Chatgpt: accumulation de dette cognitive lors de l'utilisation d'un assistant d'IA pour la tâche d'écriture d'essais», a mis en place une expérience comparative de plusieurs mois qui mesurait les cerveaux et les essais de certains écrivains étudiants, et a constaté que les utilisateurs de l'AI (grand modèle linguistique) ont constamment sous-performé aux utilisateurs neuraux, linguistiques et des niveaux comportementaux ». Non seulement cela, mais les effets négatifs de l'utilisation de l'IA sont restés mesurables chez les participants par la suite, et même lorsqu'ils faisaient leur réflexion sans LLMS.

Alors, comment cette expérience a-t-elle fonctionné? 54 étudiants ont été divisés en trois groupes et ont demandé d'écrire des essais de style SAT dans différentes conditions: un groupe a utilisé un LLM, un autre a utilisé la recherche Google et un autre n'a utilisé que (halètement) leur cerveau.

Chaque écrivain a terminé trois séances chronométrées en utilisant ses outils assignés, et leur temps d'écriture a été enregistré à l'aide d'interviews et de casques de balayage cérébral en utilisant l'électroencéphalographie (EEG), une méthode pour enregistrer l'activité électrique du cerveau. Leurs essais ont ensuite été jugés et quantifiés par les humains et l'IA – ce n'est pas un groupe de scientifiques qui l'ont nécessairement pour la technologie.

Dans une quatrième session facultative – 18 a choisi de le faire – les écrivains ont été invités à échanger des outils. Les participants au groupe LLM ont été invités à utiliser uniquement leur cerveau, et les participants au groupe uniquement au cerveau ont été invités à utiliser le LLM.

Comment ça s'est passé? Les conclusions sont assez austères:

… Nous démontrons la question urgente d'une diminution probable des compétences d'apprentissage en fonction des résultats de notre étude. L'utilisation de LLM a eu un impact mesurable sur les participants, et bien que les avantages soient initialement apparents, car nous l'avons démontré au cours de 4 mois, les participants du groupe LLM ont permis de moins que leurs homologues dans le groupe cerveau uniquement à tous les niveaux: neuronal, linguistique, score.

Il y a beaucoup dans l'étude, mais certaines conclusions se sont révélées.

Le document a révélé que le processus était meilleur sur le cerveau sans outils technologiques: «l'attention interne et le traitement sémantique pendant les idées créatives» était la plus élevée pour les écrivains qui n'utilisaient ni Google ni Chatgpt. Les essais finaux étaient également différents, la meilleure écriture sortant du groupe cerveau uniquement, qui avait le texte le plus unique en termes d'expression et de vocabulaire.

L'étude a également examiné comment les essayistes se reflétaient sur leur propre travail. Il y avait une vaste lacune dans les capacités des participants à se citer: près de 90% des utilisateurs de Chatgpt ont eu du mal à se citer, par opposition à un peu plus de 10% des écrivains de recherche et cerveau.

J'ai trouvé ce graphique intéressant aussi:

L'idée de ressentir la propriété de votre écriture est une chose spongieuse à quantifier, mais il est révélateur que les participants LLM, qui étaient les moins investis dans le processus, ont répondu avec le moins d'investissement et de propriété dans les essais finaux.

Ce n'est pas une surprise, car la description de l'étude du processus du groupe LLM est sombre:

La plupart d'entre eux se sont concentrés sur la réutilisation de la sortie des outils, restant donc concentré sur la copie et le collage du contenu, plutôt que d'intégrer leurs propres pensées originales et de modifier ceux qui ont leurs propres perspectives et leurs propres expériences.

La copie et le coller ne sont clairement pas aussi agréables que la pensée et l'expression: «Les participants qui étaient dans le groupe cerveau uniquement ont signalé une plus grande satisfaction», rapporte l'étude.

Et lorsqu'on lui a demandé de réfléchir sur les outils, ce qu'ils ont écrit et pourquoi, l'étude a révélé que «la plupart des participants au groupe cerveau uniquement engageant et se soucient davantage de« quoi », et aussi de« pourquoi »… tandis que les autres groupes se sont brièvement concentrés sur la« partie ».

Le vieux cliché semble vrai, que l'écriture est difficile, mais avoir écrit est merveilleux. Le travail digne la création.

Le déchargement de notre réflexion et de notre mémoire aux outils technologiques atteint un nouvel extrême avec des modèles de langues importants, mais les scientifiques sont clairs que ce n'est pas quelque chose que l'IA a introduit. Cela a commencé avec les moteurs de recherche. Le document discute de «l'effet Google», qui «peut déplacer les efforts cognitifs de la rétention de l'information aux processus de mémoire plus externalisés». Autrement dit, parce que nous savons que les informations sont à une recherche rapide, nous sommes dissuadés de nous souvenir de quelque chose de spécifique et de «conserver un solide rappel de la façon et de l'endroit où la trouver». Les LLM ne font qu'aggraver cette tendance: les utilisateurs habituels de LLM ont du mal à se souvenir des informations et du processus pour obtenir les informations.

Étant donné que cette expérience consiste à rédiger des essais de style secondaire, une diversité d'idées et de sources faisait partie de l'invite et du processus. Mais les LLMS orientent continuellement les utilisateurs dans les chambres d'écho:

Cela se produit parce que les LLM sont essentiellement des «prédicteurs de jetons suivants qui optimisent pour la plupart des sorties probables, et peuvent donc potentiellement être plus enclins à fournir des informations consonantes que les algorithmes traditionnels du système d'information… la nature conversationnelle des interactions LLM se composent progressive de leur expression d'informations.

La conclusion la plus effrayante, et celle qui saute dans la couverture, est que les effets délétères de l'utilisation de Chatgpt ne sont pas partis. Les utilisateurs de LLM fréquents ont maintenu une «dette cognitive» lors de la dernière session, lorsqu'ils ont été invités à passer à l'écriture cerveau:

Le groupe LLM, tout en bénéficiant de l'efficacité des outils, a montré des traces de mémoire plus faibles, une réduction de l'autosurveillance et une paternité fragmentée. Ce compromis met en évidence une préoccupation éducative importante: les outils AL, bien que précieux pour soutenir les performances, peuvent involontairement entraver le traitement cognitif profond, la rétention et l'engagement authentique avec le matériel écrit. Si les utilisateurs comptent fortement sur les outils AL, ils peuvent atteindre la maîtrise superficielle mais ne parviennent pas à internaliser les connaissances ou à ressentir un sentiment de propriété.

Et l'inverse était vrai pour les élèves qui faisaient le changement de cerveau à llm. Leurs essais étaient plus complexes et uniques, ils se sentaient plus de propriété et ils «ont montré une connectivité neuronale plus élevée que les sessions 1, 2, 3, 3, 3,». C'est remarquable: même en utilisant un LLM, les étudiants qui avaient déjà pratiqué leur cerveau ont montré plus d'activité cérébrale que les utilisateurs qui ont commencé avec les LLM uniquement.

C'est assez accablant pour les boosters de l'IA qui dit que l'apprentissage de l'écriture sera bientôt obsolète. Le processus et l'écriture finale étaient plus riches et plus gratifiants, quels que soient les outils utilisés, lorsque les étudiants avaient de l'expérience en utilisant leur cerveau. Le danger est que l'étude indique également que les utilisateurs de LLM ont passé moins de temps à écrire:

Les utilisateurs de LLM sont 60% plus productifs dans l'ensemble et en raison de la diminution de la charge cognitive étrangère, les utilisateurs sont plus disposés à s'engager avec la tâche pendant des périodes plus longues, prolongeant le temps utilisé pour effectuer des tâches.

C'est le nœud de l'appel pour le camp pro-ai dans mon expérience: il s'agit d'efficacité. Un résultat plus rapide est considéré comme un bien inaccessible. Mais cela semble être un compromis sombre lorsque les utilisateurs ne se soucient pas non plus du processus ou du produit final, et ne peuvent même pas se souvenir de ce qu'ils ont fait.

En même temps, je comprends que l'école peut être terne et fastidieuse, et moins de temps à faire des essais de devoirs est clairement attrayant pour de nombreux enfants. Comme 404 Media l'a rapporté, les salles de classe sont déjà inondées dans la LLM et c'est déjà un défi très présent pour les enseignants.

Que pouvez-vous même dire? Ces LLM ne sont tout simplement pas bonnes. «Mais James, pensez aux applications! AI pourrait être un outil utile!» Peut-être, mais pourquoi utiliser un outil qui déconnecte les neurones de votre cerveau? Je n'utiliserais pas un marteau qui manque non seulement l'ongle sur lequel je balance, mais rebondit également et me chronomètre dans la tête.

Franchement, j'en ai assez dans ma vie qui pourrie mon cerveau et me faisant me sentir mal – je ne suis pas impatient d'en ajouter un autre.