Volkswacht Bodensee - "C'est une photo de Gaza ?" : l'IA trompeuse pour vérifier des images

Début août, quand le député français apparenté LFI Aymeric Caron, soutien notoire de la cause palestinienne, publie sur le réseau social X cette image sans légende, alors que la bande de Gaza est menacée d’une "famine généralisée" selon l'ONU, plusieurs utilisateurs demandent rapidement à Grok d'en vérifier l'origine.

Le robot conversationnel intégré à X est formel: cette photo a été prise selon lui en octobre 2018 au Yémen et montrerait Amal Hussain, une fillette de 7 ans. Sa réponse est largement relayée. Et le député accusé de faire de la désinformation.

Mais Grok se trompe : la photo a bien été prise à Gaza, le 2 août, par Omar al-Qattaa, photojournaliste pour l'AFP.

Le cliché montre Mariam Dawwas, 9 ans, dans les bras de sa mère Modallala à Gaza-ville, qui a expliqué à l'AFP que sa fille pesait 25 kilos avant la guerre, contre 9 aujourd'hui. Comme soutien médical, elle reçoit "seulement du lait, et il n'est pas toujours disponible. Ce n'est pas suffisant pour qu'elle se rétablisse", a-t-elle dit.

Interpellé sur l'inexactitude de sa réponse, Grok affirme: "Je ne propage pas de fake news ; je m'appuie sur des sources vérifiées". Il finit par admettre son erreur mais il la reproduit dès le lendemain, en réponses à de nouvelles questions d'utilisateurs de X.

- Des "boîtes noires" -

Cette séquence illustre les limites des outils d'intelligence artificielle, qui fonctionnent comme "des boîtes noires", souligne Louis de Diesbach, chercheur en éthique de la technique et auteur de Bonjour ChatGPT.

"On ne sait pas précisément pourquoi ils donnent telle ou telle réponse, ni comment ils priorisent leurs sources", souligne l'expert, expliquant que ces outils ont des biais liés à leurs données d'entraînement mais aussi aux consignes de leurs concepteurs.

Le robot conversationnel d'xAI, la start-up d'Elon Musk, présente selon l'expert "des biais encore plus prononcés et qui sont très alignés sur l'idéologie promue, entre autres," par le milliardaire sud-africain, proche des idées de la droite radicale américaine.

Interroger un chatbot sur l'origine d'une image revient à le faire sortir de son rôle, pointe M. de Diesbach : "Typiquement, quand vous cherchez l'origine d'une image, il peut dire +cette photo aurait pu être prise au Yémen, aurait pu être prise à Gaza, aurait pu être prise dans à peu près n'importe quel pays où il y a une famine+".

"Un modèle de langage ne cherche pas à créer des choses exactes, ce n'est pas le but", insiste l'expert.

Récemment, une autre photographie de l'AFP, du même Omar al-Qattaa, publiée par le quotidien Libération et montrant déjà un enfant souffrant de malnutrition à Gaza, avait déjà été faussement située au Yémen et datée de 2016 par Grok. Alors qu'elle a bien été prise en juillet 2025 à Gaza.

L'erreur de l'IA avait conduit des internautes à accuser à tort le journal de manipulation.

- Pas seulement Grok -

Les biais des IA sont liés à leurs données d'entraînement, qui conditionnent la base des connaissances du modèle, et à la phase dite d'alignement, qui détermine ce que le modèle va considérer comme une "bonne" ou une "mauvaise" réponse.

Et "ce n'est pas parce qu'on lui a expliqué qu'en fait, c'était faux, que du jour au lendemain, il va (changer sa réponse) parce que ses données d'entraînement n'ont pas changé, son alignement non plus", ajoute M. de Diesbach.

Les erreurs ne sont pas propres à Grok : interrogé par l'AFP sur l'origine de la photo de Mariam Dawwas, l’agent conversationnel de Mistral AI - start-up qui, en tant que partenaire de l’AFP, peut intégrer les dépêches de l'agence aux réponses de son chatbot - a lui aussi indiqué à tort qu'elle avait été prise au Yémen.

Pour Louis de Diesbach, les agents conversationnels ne doivent pas être utilisés pour vérifier des faits, à la manière d'un moteur de recherche, car "ils ne sont pas faits pour dire la vérité" mais pour "générer du contenu, qu’il soit vrai ou faux."

"Il faut le voir comme un ami mythomane : il ne ment pas toujours, mais il peut toujours mentir", conclut l’expert.

L.Stucki--VB