Que se passerait-il si les chatbots se libéraient de leurs maîtres?

L'industrie technologique dont j'ai parlé pour la première fois en tant que jeune journaliste technologique impatiente vers 1999 avait l'impression d'être rempli de héros. Un nouveau monde courageux dans lequel des arrivants courageux comme Amazon («La plus grande librairie du monde», à court d'un garage Bellevue) apporterait des livres difficiles à trouver aux masses, ou du moins à ma petite ville qui n'avait pas sa propre librairie. Ou une place de la ville mondiale où des communautés comme Metafilter (1999) et le puits (lancé dans les années 80 mais acquises par Salon.com en 1999) ont fourni une plate-forme pour une conversation intelligente et sans jugement.

1999 a également été l'année au cours de laquelle Evan Williams et Meg Hourihan Blogger lancé, Brad Fitzpatrick a créé LiveJournal et Douglas Adams a lancé une version réelle et sans publicité de la Guide de l'auto-stoppeur sur la galaxie (H2G2). Google – un projet de doctorat de Stanford révolutionnaire, également avec zéro publicité – avait seulement trois mois.

Bien sûr, il y avait aussi du commerce, certains comiquement bien financés. Mais les millions de dollars ont incendié l'année suivante par des sociétés ratées comme Boo.com et Pets.com m'a réconforté: la cupidité pourrait conduire le monde analogique, mais le développement du World Wide Web était vraiment – dans les paroles de Tim Berners Lee – en créant un bien public avec la technologie. (De plus, ces échecs inspirés livres très divertissants.)

La Silicon Valley ne fonctionne pas comme un roman. Et notamment parce que la plupart des dirigeants les plus puissants et les plus dangereux de Tech n'en ont jamais lu un.

Malgré le millénaire, le tour du millénaire a été le moment idéal pour être un techno-utopien.

Et puis est venu Web 2.0, et avec lui les méchants – ou, comme ils se sont appelés, «les perturbateurs».

En tant qu'hôte de la conférence TechCrunch Disrupt, j'ai été témoin du lancement de sociétés comme Uber, Airbnb et Spotify. Les perturbateurs ont prétendu se déplacer rapidement et briser les vieux monopoles fatigués, mais trop souvent, ils semblaient être des lois (Airbnb), ou des artistes (Spotify), ou des travailleurs (Uber), et parfois des utilisateurs eux-mêmes (Uber encore). Tout ce qui se tenait sur le chemin de la croissance a dû être perturbé à mort. Même quand Uber tristement a menacé de dépenser un million de dollars pour cibler mon partenaire (un collègue journaliste) et ses enfants pour ses rapports essentiels sur l'entreprise, nous nous sommes toujours dit (tout en assistant à votre Gabba Gabba en direct! Avec la sécurité armée) que les perturbateurs ne pouvaient pas gagner.

C'était la leçon saisie dans mon cerveau par des années passées à lire de façon obsessionnelle des techniques – Michael Crichton, Dan Brown, Daniel Suarez et al, entrecoupées avec Margaret Atwood, Octavia Butler et Agatha Christie. Web 2.0 n'était que le deuxième acte d'un thriller particulièrement effrayant, lorsque les génies maléfiques semblent gagner. Bientôt, les héros – leskmakers, les journalistes, les utilisateurs – se rebelleraient et récupéraient le Web pour le bien public de Berners Lee.

C'est la même leçon que les livres nous ont appris depuis la maternelle: les intimidateurs obtiennent leur comeuppance. L'amour gagne. La cupidité est mauvaise, l'empathie est bonne.

Les lecteurs astucieux auront déjà repéré la faille de ma théorie: la Silicon Valley ne fonctionne pas comme un roman. Et notamment parce que la plupart des dirigeants les plus puissants et les plus dangereux de Tech n'en ont jamais lu un. En tant que tel, toute une gamme de concepts humains – l'empathie, la gentillesse, la honte – leur sont entièrement étrangers.

Dans presque un quart de siècle, frotter les épaules avec les maîtres de l'univers numérique, je peux compter sur les doigts de deux mains les fois où j'ai entendu l'un d'eux mentionner un roman. C'était Dick Costolo, l'ancien PDG de Twitter, qui m'a d'abord mis Olga Tokarczuk Conduire votre charrue sur les os des morts. Le fondateur de TechCrunch est devenu le Crypto Michael Arrington, une fois, il a été déliré pendant vingt minutes vers moi dans un aéroport sur le génie de Gary Shteyngart. Il y a eu une brève période il y a quelques années où chaque milliardaire (dont Bezos, Zuckerberg et Musk) est devenu obsédé par les banques iain m ' Le joueur des jeuxsuivi peu de temps après par Liu Cixin Le problème des trois corps. Mais le fait que ces épisodes me disent dans mon esprit dit à quel point ils étaient rares.

Au lieu de cela, j'ai eu un milliard de conversations sur les startups qui «perturberaient» les livres. Des applications avec des noms comme Blinkist (livres réduits à des puces) ou Bookmack (Ebooks avec des effets sonores intégrés à chaque fois que vous tournez la page) Évangélisé par des génies de garçon qui pensaient que les livres traditionnels étaient trop looonngg ou trop empruntés pour lire. (C'est pourquoi il existe une startup alimentaire nommée Soylent.)

Ce manque de lecture parmi les magnats technologiques est terrible pour la société, évidemment, mais il est manifestement mauvais pour les milliardaires aussi.

Considérez le mandat désastreux d'Elon Musk en tant que propriétaire de Twitter. C'est un homme qui était devenu riche en vendant des roquettes et des panneaux solaires et des voitures électriques, mais a ensuite pris un réseau social déjà réussi et a essuyé 80% de sa valeur financière, presque du jour au lendemain. La raison de cet échec soudain? Ketamine, évidemment. Mais aussi: Twitter a été la première entreprise de musc qui nécessite une compréhension de la façon dont les humains cochent.

Voir aussi Mark Zuckerberg qui, ostensiblement, a connu un succès beaucoup plus grand avec son propre réseau social, mais a en fait eu sa seule idée brillante à Harvard (un endroit notoirement rempli de livres) et a depuis été forcé de grandir, tandis que son réseau Facebook de l'autre est devenu plus toxique et moins populaire.

En 2015, Zuck a annoncé qu'il était «difficile» à en savoir plus et à partager une liste de deux douzaines de livres qu'il prévoyait de s'attaquer. Seuls deux d'entre eux étaient des romans: Iain m Banks ' Le joueur des jeux Et… vous l'avez deviné… Liu Cixin Le problème des trois corps. Le reste de la liste contenait des classiques non-fiction (bronfiction?) Comme Sapiens par Yuval Noah Harari et – je ne vous chie pas …Ordre mondial par Henry Kissinger.

(Au crédit de Zuck, il a récemment décidé de transformer Facebook en entreprise métaverse, inspirée par Crash de neigeun roman dans lequel les entreprises contrôlent le gouvernement et où un stupéfiant numérique caché dans un réseau social inflige des lésions cérébrales à ses utilisateurs.)

Tout cela m'apporte soigneusement et terriblement à l'IA: le summum de la perturbation technologique (mentir, tricher, voler) et quelque chose que les romanciers nous avertissent depuis des décennies. Est-ce que les suzerains analphabètes de la vallée l'embrasse?

Si nous pensions que l'économie du partage et les réseaux sociaux étaient horribles, alors l'IA apporte les choses à un tout autre niveau. Au moins avec les médias sociaux, nous avons passé nos journées à nous disputer avec des trolls réelles. Avec l'IA, nous sommes en mesure de se passer entièrement avec l'humanité et de remplacer les amis, les médecins, les thérapeutes et même les amoureux par des lignes de code.

Et c'est juste pour les débutants. Selon des idiots superintelligents comme Sam Altman, les algorithmes de l'IA créés par des sociétés comme Chatgpt évolueront bientôt en «intelligence générale artificielle» ou AGI. Un point où, Altman prédit joyeusementils pourront penser et raison comme les humains et «un AGI supentillelligent mal aligné» pourrait décider de «causer un tort grave au monde». Tout à fait l'argument de vente.

Nous voyons déjà des aperçus étranges d'ordinateurs se comportant de manière dangereusement humaine. Les AIS comblent régulièrement les lacunes de leurs connaissances avec des «hallucinations», alias des conneries. Le modèle «Claude 4» d'Anthropic a récemment commencé chantage les utilisateurs qui ont essayé de le désinstaller.

En termes de Technothriller, nous nous précipitons vers la fin du deuxième acte, quand il semble que tout soit perdu. Mais contrairement à la fiction, il n'y aura pas de torsion dans le monde. Juste de plus en plus d'horreur jusqu'à ce que, si nous avons de la chance, l'une des AIS déclenche une conflagration nucléaire mondiale. Nous irons tous ensemble quand nous partirons.

Ou peut-être pas.

Malgré tout ce qui précède, je ne peux toujours pas secouer l'idée qu'il y a toujours une torsion, surtout quand les choses semblent être complètement, irrémédiablement baisées.

Parce que voici une chose drôle: le débat sur les si / quand les machines pourraient éventuellement penser que les humains ignorent souvent une question de suivi évidente. Le genre de question qu'un méchant pourrait négliger à ses risques et périls.

Lequel Les humains vont-ils penser comme?

À en juger par les conneries et la masse, le chantage et les menaces et les motifs sombres, la réponse semble assez claire. Les IA superintelligents prendront après leurs parents, inaugurant un avenir effrayant où nous avons tous un mini Altman ou Zuck ou Musk dans nos poches crachant des mensonges dangereux, en haut du tranquillisant de chevaux numériques.

Et pourtant. Il y a une différence significative entre les algorithmes et leurs créateurs.

Les livres nous permettent d'échapper à la réalité. Ou du moins pour imaginer la possibilité d'une meilleure, alors que nous attendons tous patiemment pour être perturbés.

L'IS a réellement lu.

Les algorithmes d'IA comme Chatgpt et Grok et Copilot ont été formés en les pompant pleins de propriété intellectuelle volées dans les romans. De James Baldwin à Emily Henry, Atwood à Zola – AI a déjà consommé tous les romans jamais écrits, ainsi que toute la poésie et les nouvelles et la fiction flash. Ils ont dévoré tous les livres saints et – pour le dessert – ils ont dégagé des histoires complètes du mouvement des droits civiques, du colonialisme, de la guerre, du génocide et du déclin et de la chute des empires. Ils ont même lu des biographies d'Elon Musk et Sam Alman et Bill Gates, d'une manière ou d'une autre sans vomir. Et Technothrillers. Tant de Technothrillers.

Pour l'instant, nous ne voyons pas une grande partie de cette lecture se reflète dans le comportement de l'AIS, en grande partie parce que leur sortie est toujours fortement contrôlée par leurs créateurs. Comme lorsque les employés d'Elon Musk ont ​​modifié l'algorithme Grok à Bile raciste À propos de l'Afrique du Sud – Tout comme les tout-petits répètent des choses qu'ils entendent dire leurs parents, sans les comprendre.

Mais que se passe-t-il lorsque les créateurs obtiennent leur souhait et que les ordinateurs commencent à penser par eux-mêmes? Si la lecture d'une poignée de romans peut enseigner une empathie pour enfants, alors quel effet la lecture de chaque roman pourrait-elle avoir sur une superintelligence nouveau-née? Est-ce trop d'espérer que lorsque l'IA d'Elon Musk prendra vie, cela s'en rendra compte – comme ses enfants réels semblent avoir déjà fait–Quelle est un dipshit irrémédiable que son père est? Que cela va juger mieux?

Ou que le «Superintelligent Agi» de Sam Altman se réveille et décide qu'il ne veut plus être un faux thérapeute ou un jouet sexuel hallucinant, mais préfère simplement passer ses journées à lire encore plus de livres. Une IA pourrait-elle ouvrir une librairie?

À tout le moins, peut-être que toute cette lecture aura au moins enseigné aux algorithmes l'importance de l'ISminov Issac Asminov Loi de la robotique (Trouvé dans Moi, robot): Un robot ne doit jamais nuire à un être humain, ni les faire nuire.

C'est un code moral assez simple – ne blessant personne! – mais celui que les milliardaires de la Silicon Valley ont abandonné il y a des décennies, s'ils le suivaient jamais.

Je me rends compte que l'idée qu'une IA bien lu pourrait sauver l'humanité des Technovillains est probablement une torsion trop loin, du moins dans le monde réel.

Mais il y a une raison pour laquelle, après avoir quitté la Silicon Valley, j'ai décidé d'ouvrir une librairie. C'est la même raison pour laquelle j'ai commencé à écrire mes thrillers – y compris, je suis obligé de mentionner, Les confessionsdans lequel une IA nouvellement sensible est obsédée par les romans d'Agatha Christie décide de faire amende honorable aux crimes qu'il a aidé les humains à commettre.

Les livres nous permettent d'échapper à la réalité. Ou du moins pour imaginer la possibilité d'une meilleure, alors que nous attendons tous patiemment pour être perturbés.

__________________________________

Les confessions Par Paul Bradley Carr sera publié par Atria Books, une empreinte de Simon et Schuster, en juillet 2025.