Une nouvelle frontière pour les escrocs de voyage : les guides générés par l’IA

En mars, alors qu’elle planifiait un prochain voyage en France, Amy Kolsky, une voyageuse internationale expérimentée qui vit dans le comté de Bucks, en Pennsylvanie, s’est rendue sur Amazon.com et a tapé quelques termes de recherche : voyage, guide, France. Les titres d’une poignée de marques de confiance sont apparus en haut de la page : Rick Steves, Fodor’s, Lonely Planet. Parmi les meilleurs résultats de recherche figurait également le très apprécié « France Travel Guide », de Mike Steves, qui, selon une page d’auteur Amazon, est un écrivain de voyage renommé.

« J’ai été immédiatement attirée par toutes les critiques incroyables », a déclaré Mme Kolsky, 53 ans, se référant à ce qu’elle a vu à l’époque : des raves universelles et plus de 100 notes cinq étoiles. Le guide a promis des itinéraires et des recommandations des habitants. Son prix – 16,99 $, contre 25,49 $ pour le livre de Rick Steves sur la France – a également attiré l’attention de Mme Kolsky. Elle a rapidement commandé une copie de poche, imprimée par le service à la demande d’Amazon.

À son arrivée, Mme Kolsky a été déçue par ses descriptions vagues, ses textes répétitifs et son manque d’itinéraires. « Il semblait que le gars venait d’aller sur Internet, de copier tout un tas d’informations sur Wikipédia et de les coller », a-t-elle déclaré. Elle l’a rendu et a laissé une critique cinglante d’une étoile.

Bien qu’elle ne le sache pas à l’époque, Mme Kolsky a été victime d’une nouvelle forme d’escroquerie de voyage : des guides de mauvaise qualité qui semblent avoir été compilés à l’aide de l’intelligence artificielle générative, auto-publiés et renforcés par des critiques factices, qui ont proliféré ces derniers mois sur Amazon.

Les livres sont le résultat d’un mélange tourbillonnant d’outils modernes : des applications d’IA capables de produire du texte et de faux portraits ; des sites Web avec une gamme apparemment infinie de photos et de graphiques ; les plates-formes d’auto-édition – comme Kindle Direct Publishing d’Amazon – avec peu de garde-fous contre l’utilisation de l’IA ; et la possibilité de solliciter, d’acheter et de publier de fausses critiques en ligne, ce qui va à l’encontre des politiques d’Amazon et pourrait bientôt faire face à une réglementation accrue de la part de la Federal Trade Commission.

L’utilisation de ces outils en tandem a permis aux livres de se hisser au sommet des résultats de recherche d’Amazon et de recueillir parfois des mentions d’Amazon telles que « Guide de voyage n ° 1 sur l’Alaska ».

Une recherche récente sur Amazon pour l’expression « Paris Travel Guide 2023 », par exemple, a produit des dizaines de guides avec ce titre exact. L’un, dont l’auteur est répertorié comme Stuart Hartley, se vante, sans grammaire, qu’il s’agit de « Tout ce que vous devez savoir avant de planifier un voyage à Paris ». Le livre lui-même ne contient aucune autre information sur l’auteur ou l’éditeur. Il n’a pas non plus de photographies ou de cartes, bien que nombre de ses concurrents aient des œuvres d’art et des photographies facilement traçables sur des sites de photos. Plus de 10 autres guides attribués à Stuart Hartley sont apparus sur Amazon ces derniers mois et reposent sur le même design à l’emporte-pièce et utilisent un langage promotionnel similaire.

Le Times a également trouvé des livres similaires sur un éventail de sujets beaucoup plus large, notamment la cuisine, la programmation, le jardinage, les affaires, l’artisanat, la médecine, la religion et les mathématiques, ainsi que des livres et des romans d’auto-assistance, parmi de nombreuses autres catégories.

Amazon a refusé de répondre à une série de questions détaillées sur les livres. Dans une déclaration fournie par e-mail, Lindsay Hamilton, porte-parole de la société, a déclaré qu’Amazon évalue constamment les technologies émergentes. « Tous les éditeurs du magasin doivent respecter nos directives de contenu », a-t-elle écrit. « Nous investissons beaucoup de temps et de ressources pour nous assurer que nos directives sont suivies et supprimer les livres qui ne respectent pas ces directives. »

Le Times a diffusé 35 passages du livre de Mike Steves via un détecteur d’intelligence artificielle d’Originality.ai. Le détecteur fonctionne en analysant des millions d’enregistrements connus pour être créés par l’IA et des millions créés par les humains, et en apprenant à reconnaître les différences entre les deux, a expliqué Jonathan Gillham, le fondateur de l’entreprise.

Le détecteur attribue un score compris entre 0 et 100, en fonction du pourcentage de chances que son modèle d’apprentissage automatique pense que le contenu a été généré par l’IA. Les 35 passages ont obtenu un score parfait de 100, ce qui signifie qu’ils ont presque certainement été produits par l’IA

La société affirme que la version de son détecteur utilisée par le Times détecte plus de 99 % des passages de l’IA et confond le texte humain avec l’IA dans un peu moins de 1,6 % des tests.

Le Times a identifié et testé 64 autres guides au format comparable, la plupart avec au moins 50 critiques sur Amazon, et les résultats étaient étonnamment similaires. Sur 190 paragraphes testés avec Originality.ai, 166 ont obtenu un score de 100 et seulement 12 un score inférieur à 75. En comparaison, les scores des passages de marques de voyage bien connues comme Rick Steves, Fodor’s, Frommer’s et Lonely Planet étaient presque tous inférieurs à 10, ce qui signifie il n’y avait pratiquement aucune chance qu’ils aient été écrits par des générateurs d’IA.

Amazon, IA et marques de voyage de confiance

Bien que l’essor du crowdsourcing sur des sites comme Tripadvisor et Yelp, sans parler des sites de voyage en ligne gratuits, des blogs et des conseils des influenceurs TikTok et Instagram, ait réduit la demande de guides imprimés et de leurs versions e-book, ils restent de gros vendeurs. Récemment, en juillet, neuf des 50 meilleurs livres de voyage sur Amazon – une catégorie qui comprend la fiction, la non-fiction, les mémoires et les cartes – étaient des guides européens de Rick Steves.

M. Steves, joint à Stockholm vers minuit après une journée de recherche sur le guide scandinave de sa série, a déclaré qu’il n’avait pas entendu parler du livre de Mike Steves et ne semblait pas préoccupé par le fait que l’IA générative constituait une menace.

« Je ne peux tout simplement pas imaginer ne pas le faire en portant des chaussures », a déclaré M. Steves, qui venait de visiter un restaurant sur le thème des Vikings et un concurrent sur le thème médiéval, et a déterminé que celui des Vikings était de loin supérieur. « Vous devez être ici pour parler aux gens et marcher. »

M. Steves passe environ 50 jours par an sur la route en Europe, a-t-il dit, et les membres de son équipe passent 300 autres jours pour mettre à jour leurs quelque 20 guides, ainsi que des retombées plus petites.

Mais Pauline Frommer, directrice éditoriale de la série de guides Frommer’s et auteur d’un guide populaire de New York, s’inquiète du fait que les « petites bouchées » des faux guides affectent leurs ventes. Mme Frommer a déclaré qu’elle passait trois mois par an à tester des restaurants et à travailler sur d’autres mises à jour annuelles pour le livre – et à prendre du poids qu’elle essaie actuellement de perdre.

« Et penser qu’une entité pense qu’elle peut simplement balayer Internet et mettre des conneries au hasard est incroyablement décourageant », a-t-elle déclaré.

Amazon n’a pas de règles interdisant le contenu généré principalement par l’intelligence artificielle, mais le site propose des directives pour le contenu des livres, y compris les titres, les couvertures et les descriptions : « Les livres en vente sur Amazon doivent offrir une expérience client positive. Nous n’autorisons pas les contenus descriptifs destinés à induire les clients en erreur ou qui ne représentent pas fidèlement le contenu du livre. Nous n’autorisons pas non plus les contenus généralement décevants pour les clients. »

M. Gillham, le fondateur d’Originality.ai, basé en Ontario, a déclaré que ses clients sont en grande partie des producteurs de contenu cherchant à trouver des contributions écrites par l’intelligence artificielle. « Dans un monde de contenu généré par l’IA », a-t-il déclaré, « la traçabilité de l’auteur à l’œuvre va devenir un besoin croissant ».

Trouver les véritables auteurs de ces guides peut être impossible. Il n’y a aucune trace du « célèbre écrivain de voyage » Mike Steves, par exemple, ayant publié « des articles dans divers magazines et sites Web de voyage », comme le prétend la biographie sur Amazon. En fait, le Times n’a trouvé aucune trace de l’existence d’un tel écrivain, malgré une recherche approfondie dans les archives publiques. (La photo de l’auteur et la biographie de Mike Steves ont très probablement été générées par l’IA, a découvert le Times.)

M. Gillham a souligné l’importance de la responsabilité. L’achat d’un guide décevant est un gaspillage d’argent, a-t-il déclaré. Mais acheter un guide qui encourage les lecteurs à se rendre dans des endroits dangereux – « c’est dangereux et problématique », a-t-il déclaré.

Le Times a découvert plusieurs cas où des omissions troublantes et des informations obsolètes pouvaient égarer les voyageurs. Un guide sur Moscou publié en juillet sous le nom de Rebecca R. Lim – « une figure respectée de l’industrie du voyage » dont la photo de l’auteur Amazon apparaît également sur un site Web appelé Todo Sobre el Acido Hialurónico (« Tout sur l’acide hyaluronique ») à côté du nom Ana Burguillos – ne fait aucune mention de la guerre en cours entre la Russie et l’Ukraine et n’inclut aucune information de sécurité à jour. (Le Département d’État américain déconseille aux Américains de se rendre en Russie.) Et un guide sur Lviv, en Ukraine, publié en mai, omet également de mentionner la guerre et encourage les lecteurs à « faire vos valises et vous préparer pour une aventure inoubliable en une seule fois ». des destinations les plus captivantes d’Europe de l’Est.

Avis sur Sham

Amazon a une politique anti-manipulation pour les avis des clients, bien qu’un examen minutieux du Times ait révélé que bon nombre des avis cinq étoiles laissés sur les guides de mauvaise qualité étaient soit extrêmement généraux, soit absurdes. L’extension de navigateur Fakespot, qui détecte ce qu’elle considère comme des avis « trompeurs » et attribue à chaque produit une note de A à F, a attribué à de nombreux guides une note de D ou F.

Certaines critiques sont curieusement inexactes. « Ce guide a été spectaculaire », a écrit un utilisateur nommé Muñeca à propos du guide France de Mike Steves. “Pouvoir choisir la saison pour savoir quel climat on préfère, sachant que leur langue est l’anglais.” (Le guide mentionne à peine la météo et indique clairement que la langue de la France est le français.)

La plupart des critiques élogieuses écrites de manière douteuse pour les guides usés proviennent d' »achats vérifiés », bien que la définition d’Amazon d’un « achat vérifié » puisse inclure les lecteurs qui ont téléchargé le livre gratuitement.

« Ces critiques font des gens des dupes », a déclaré Mme Frommer. « C’est ce qui fait que les gens gaspillent leur argent et les éloignent des vrais guides de voyage. »

Mme Hamilton, la porte-parole d’Amazon, a écrit que la société n’avait aucune tolérance pour les fausses critiques. « Nous avons des politiques claires qui interdisent l’utilisation abusive des avis. Nous suspendons, interdisons et engageons des poursuites judiciaires contre ceux qui enfreignent ces politiques et supprimons les avis non authentiques. Amazon ne dirait pas si des mesures spécifiques ont été prises contre les producteurs du livre de Mike Steves et d’autres livres similaires. Lors de la rédaction de cet article, certaines des critiques suspectes ont été retirées de nombreux livres examinés par le Times, et quelques livres ont été retirés. Amazon a déclaré avoir bloqué plus de 200 millions de fausses critiques présumées en 2022.

Mais même lorsqu’Amazon supprime les avis, il peut laisser des notes cinq étoiles sans texte. Au 3 août, le « Guide de voyage en Espagne 2023 » d’Adam Neal avait 217 avis supprimés par Amazon, selon une analyse de Fakespot, mais obtient toujours une note de 4,4 étoiles, en grande partie parce que 24 des 27 critiques qui ont omis un avis écrit ont reçu le réserver cinq étoiles. « J’ai l’impression que mon guide ne peut pas être le même que tout le monde note si haut », a écrit un critique nommé Sarie, qui a attribué une étoile au livre.

De nombreux livres incluent également des « revues éditoriales », apparemment sans surveillance d’Amazon. Certains sont particulièrement audacieux, comme le « Paris Travel Guide 2023 » de Dreamscape Voyages, qui comprend de fausses critiques de poids lourds comme le magazine Afar (« Préparez-vous à être étonné ») et Condé Nast Traveler (« Votre compagnon ultime pour déverrouiller la véritable essence du Ville des Lumières »). Les deux publications ont nié avoir examiné le livre.

« Il faut être là sur le terrain »

Les experts en intelligence artificielle conviennent généralement que l’IA générative peut être utile aux auteurs si elle est utilisée pour améliorer leurs propres connaissances. Darby Rollins, le fondateur de l’AI Author, une entreprise qui aide les particuliers et les entreprises à tirer parti de l’IA générative pour améliorer leur flux de travail et développer leurs activités, a trouvé les guides « très basiques ».

Mais il pouvait imaginer de bons guides produits avec l’aide de l’intelligence artificielle. « L’IA va augmenter, améliorer et étendre ce que vous faites déjà bien », a-t-il déclaré. « Si vous êtes déjà un bon écrivain et que vous êtes déjà un expert des voyages en Europe, alors vous apportez des expériences, des perspectives et des idées à la table. Vous allez pouvoir utiliser l’IA pour vous aider à organiser vos pensées et vous aider à créer des choses plus rapidement. »

Le vrai M. Steves était moins sûr des mérites de l’utilisation de l’IA « Je ne sais pas où va l’IA, je sais juste ce qui fait un bon guide », a-t-il déclaré. « Et je pense que vous devez être sur le terrain pour en écrire un. »

Mme Kolsky, qui s’est fait arnaquer par le livre de Mike Steves, a accepté. Après avoir retourné son achat initial, elle a plutôt opté pour une marque de confiance.

« J’ai fini par acheter Meule Steves », a-t-elle déclaré.