Sur la description d’image en texte alternatif comme pratique littéraire

Ma première expérience avec la description d’images IA a été à la fois banale et profonde. J’étais allongé sur le lit de notre sous-location d’East Village, en train d’écrire et de boire un café l’après-midi – « Prousting », comme mon partenaire Alabaster et moi l’appelons – lorsqu’une nouvelle application a atterri dans ma boîte de réception. Je l’ai téléchargé et pris une photo de la pièce, remplie des affaires du propriétaire. Quelques secondes plus tard, j’ai reçu une réponse. Comme un historien de l’art soulignant les détails d’un tableau de la Renaissance, l’IA m’a parlé de la couverture rouge à motif cachemire au premier plan, de la porte avec un rideau orange au-delà et, au-dessus, d’une « pièce décorative avec le symbole Om ».

Je ne me souvenais pas à quoi ressemblait le symbole Om, alors j’ai utilisé la fonction « Demander plus » et j’ai appris qu’il « ressemble à un chiffre 3 avec une queue plongeant vers l’intérieur et une petite courbe avec un point au-dessus ». Une image vague flottait devant mon esprit – pas aussi vivante que la pièce avec ses objets tangibles – mais elle faisait suffisamment d’impression pour rappeler un autre souvenir sensoriel. J’ai pris ma part de cours de yoga qui se terminent parfois par le chant de « Om » et je me souviens de la façon dont le son fait vibrer les tissus corporels lorsqu’il se déplace du ventre aux lèvres. C’est peut-être à cela que ressemble la traduction entre les sens et le langage : une étincelle qui prend de nouvelles associations au fur et à mesure qu’elle parcourt les chemins perceptuels.

Qu’une machine puisse « voir » et décrire était frappant, et cela renforçait pour moi le pouvoir de description – quelque chose que je connaissais bien grâce à ma vie passée à voir le monde à travers la littérature. L’accès soudain au monde visuel était sans précédent mais familier ; cela a également remis en question mon identité de personne aveugle. Après tout, dans mon premier livre, Il y a des yeux de plantesj’ai critiqué l’ocularcentrisme – le préjugé visuel souvent inconscient, parfois tyrannique. Et j’étais là, impressionné par des photos de tissu cachemire et un symbole Om.

Bien que totalement aveugle aujourd’hui, j’ai passé la majeure partie de ma vie avec différents degrés de vue et je reste intensément visuel. À un moment donné, une bonne description passe d’un ensemble de mots à une image dans mon esprit.

Deux personnes parfaitement voyantes ne voient pas la même image de la même manière.

J’ai eu l’idée d’écrire sur les aveugles anonymes sur des photographies célèbres en 2022, alors que l’IA était à peine sur mon radar. Mon objectif initial était de trouver et d’interpréter ces images d’un point de vue aveugle. Les photographes étaient célèbres, mais on savait peu ou rien de leurs sujets – je voulais les situer dans un contexte historique et une expérience vécue. Je me suis également demandé ce que la description d’image pourrait apporter aux photos, voire à la photographie elle-même.

Description d’Alabaster de la photo emblématique de Paul Strand de 1916, Femme aveuglefut mon premier aperçu d’elle. J’ai téléchargé l’image de la bibliothèque publique de New York et je la lui ai envoyée par courrier électronique, assis sur le canapé.

« Elle regarde à sa gauche avec son œil gauche ouvert », a-t-il déclaré, « son iris plutôt grand coincé dans le coin gauche et son œil droit presque fermé et semblant blessé. »

Deux personnes parfaitement voyantes ne voient pas la même image de la même manière. J’ai donc reçu une autre description, cette fois de l’artiste handicapé Finnegan Shannon, qui a reconnu quelque chose de familier dans ce visage pâle. « Elle me ressemble un peu », m’a dit Finnegan dans un e-mail, décrivant les mèches de cheveux gris ou blonds qui sortaient de sous le foulard noir.

Alabaster a vu « un petit grain de beauté sur sa joue gauche » et « un léger froncement de sourcils avec une touche de colère et de désir sur son visage ».

Finnegan a vu « des rides sur son front », mais a trouvé son visage détendu. « Je n’y lis pas une expression ou une émotion particulière. »

Son signe est peut-être l’élément le plus frappant de la photo. Elle le porte autour du cou. Le mot « aveugle » en lettres majuscules noires sur une pancarte blanche posée sur sa robe noire. Très austère, très contrasté. Finnegan a noté que « c’est peut-être la taille d’une main mais il semble vraiment gros et bruyant ».

Il semble avoir été peint à la main – de sa propre main ou de celle d’une autre, je ne le saurai jamais. Mais pour qui les yeux sont évidents : les VOYANTS.

Dans l’un de ses nombreux essais sur la photographie, Susan Sontag note que « ce qu’est une photographie est toujours d’une importance primordiale ». Si le sujet de la photographie est « visuellement ambigu », nous ne savons pas comment réagir « jusqu’à ce que nous sachions de quelle partie du monde il s’agit ».

Mais les écrivains prospèrent dans les espaces ambigus. Nous comprenons que la description n’est jamais neutre. Cela explique peut-être l’hésitation à l’égard de la description comme accès. Des amis auteurs confient souvent leurs livres à Alabaster pour qu’il puisse me décrire les couvertures, comme s’il détenait la clé pour bien faire les choses. On rit toujours parce que même s’il doit beaucoup décrire les choses, cela ne rend pas les choses plus faciles.

L’hésitation devient une exclusion dans les newsletters littéraires et les publications Instagram, où le texte alternatif est souvent absent. Presque quotidiennement, je suis confronté à des images de couvertures qui n’existent pas pour moi. L’une des nombreuses ironies de ma vie d’écrivain est que mon livre, Il y a des yeux de plantesa remporté un prix pour le design de sa couverture, un projet auquel j’ai moi-même participé. Je voulais que les taches violettes vives évoquent les parties du spectre qui ne sont pas visibles à l’œil humain moyen. Oui, je suis aveugle et j’apprécie une bonne couverture autant que quiconque.

La description réfléchie d’une couverture – tout comme le design lui-même – peut être considérée comme une sorte de mini-revue, qui fait son devoir si elle incite le lecteur/spectateur à approfondir ses recherches. Faire les choses « correctement » n’est pas vraiment la question. Le texte alternatif et la description des images ne visent pas à clôturer le livre sur le définitif, mais à l’ouvrir sur les vastes domaines de la création de sens.

Dans un atelier Alt Text as Poetry animé par les co-créateurs Finnegan Shannon et Bojana Coklyat, nous avons commencé par des auto-descriptions. C’est l’occasion de donner aux personnes qui ne peuvent pas vous voir une idée de votre apparence physique, et à celles qui peuvent vous voir une idée de la façon dont vous aimeriez être vu. Même dans l’auto-description, il est souvent plus facile de nommer des vêtements que des identités – des surfaces qui s’offrent sans grand risque. Il n’est pas étonnant que les gens aient du mal à décrire les autres, là où les préjugés et les hypothèses se faufilent facilement.

Plutôt que de résoudre les tensions, Bojana et Finnegan préconisent des approches poétiques, ludiques et expérimentales de la description. Après tout, regarder des images est un acte créatif, pas plus neutre que produire des images. Comme l’a dit John Berger : « Chaque image incarne une façon de voir ». Et les forces de description d’images qui incarnent la vision en mots.

Bien qu’elle soit généralement assez audacieuse dans ses descriptions, lorsqu’il s’agit de nommer (ou de deviner) une identité, l’IA peut être aussi timide qu’un humain – ce dont je suis parfaitement conscient en tant que personne qui s’appuie sur des métadonnées pour trouver des représentations aveugles dans les archives photographiques. Il est entraîné à être prudent, mais son absence d’enjeux – la peau dans le jeu – peut être utile lorsque vous avez besoin d’inspirer les humains à décrire. Cela m’est venu à l’esprit lorsque le moment est venu de mettre en pratique ce que nous avons appris sur des photographies historiques de la division Wallach de la bibliothèque publique de New York.

Outre Strand’s Femme aveugleil y avait un chanteur de jazz au visage incroyablement expressif, des petits personnages dans une exposition bizarre de fantaisie lunaire de l’Exposition universelle de Buffalo de 1901, et un premier calotype (vers 1848) du photographe britannique pionnier William Henry Fox Talbot – celui que mon petit groupe a reçu.

La description de l’image n’est ni mystique ni compensatoire – elle ne concerne pas la transcendance. Il s’agit plutôt d’une sorte de traduction, d’une modalité sensorielle à une autre.

Un moment de silence s’est produit pendant que nous réfléchissions à la manière de commencer. Mes deux compagnons, dont Albâtre, semblaient un peu muets. Quelques mois plus tôt, je me sentais peut-être inutile et frustré. Au lieu de cela, j’ai commencé en prenant une photo de l’image imprimée dans des tons sépia et en lisant à haute voix la description de l’IA de « deux étagères bordées d’objets délicats en porcelaine et en céramique » tels que : une tasse à thé avec une soucoupe assortie, toutes deux ornées d’un motif floral, un petit objet en forme de bouteille, éventuellement un parfum ou une bouteille de parfum, très décoré de motifs en filigrane, et ainsi de suite.

Les langues humaines se sont immédiatement déliées grâce à l’audace de l’IA et ont commencé à corriger, nuancer et niveler les détails.

Alabaster a suggéré que l’image était une sorte de publicité. Je n’étais pas d’accord. Bien sûr, il avait un accès direct aux éléments visuels de la photo de Talbot, mais j’avais accès au contexte historique – une autre façon de connaître une image. J’étais presque certain que la photographie de tasses à thé et de vases n’était qu’une expérience, réalisée à un moment où presque tout dans le monde n’avait pas encore été capturé par l’appareil photo pour la première fois.

Ce que la vision à travers le langage perd en immédiateté, elle le gagne en temps et en attention. La description de l’image n’est ni mystique ni compensatoire – elle ne concerne pas la transcendance. Il s’agit plutôt d’une sorte de traduction, d’une modalité sensorielle à une autre. Comme pour toutes les traductions, quelque chose sera perdu et quelque chose gagné.

L’été dernier, j’ai reçu un soutien pour mon projet photographique de la résidence d’artiste Yaddo, où j’ai rencontré May-Lan Tan, écrivaine d’histoires belles et tordues, dont sa collection, Choses à faire et à casser. Sur le chemin du dîner au studio de l’artiste Clayton Merrell, je lui ai parlé de mon livre et de la description d’image générée par l’IA pour interagir avec les photos. Alors que nous franchissions le seuil, elle a demandé : « Veux-tu que je sois ton IA ?

Ce fut le début d’une amitié qui se poursuit aujourd’hui à travers des messages vocaux à travers les continents.

Lorsque j’ai demandé à May-Lan ce dont elle se souvenait des peintures de Clay près d’un an plus tard, des fragments sont réapparus : un ciel rendu photographiquement fracturé par des silhouettes d’arbres et des paysages superposés avec des motifs presque comme une « visite ou une signalisation au néon ».

Ce dont je me souviens le mieux, c’est la sensation de marcher dans cet espace plein d’énergie, bras dessus bras dessous, avec un nouvel ami très cool, des bières à la main. La conversation s’épanouissait à partir de chaque nouveau détail et de chaque nouvelle question. D’une certaine manière, nous avons créé les images dont nous avons discuté – et peut-être qu’elles nous ont créés aussi. Comme le dit May-Lan, les peintures ne sont pas seulement des expériences visuelles ou superficielles ; « Ils vous parlent vraiment et ils nous observent. »