Volkswacht Bodensee - Anthropic interdit la "cruauté gratuite" envers son IA Claude

La règle, en vigueur à partir du 12 novembre, ne s'appliquera que dans des cas extrêmes, "où des utilisateurs agissent de manière répétée avec cruauté envers nos modèles, sans but discernable", écrit l'entreprise à l'occasion de la mise à jour de sa politique d'utilisation.

L'agacement ordinaire, la contradiction, la création de fictions violentes ou sombres, ou encore les tests et la recherche sur les modèles, ne sont pas concernés, ajoute-t-elle.

L'entreprise de San Francisco rattache la nouvelle interdiction à une fonction lancée en août 2025, qui permet à Claude de mettre fin de lui-même à une conversation avec un interlocuteur durablement abusif. Elle l'avait alors présentée comme issue de ses "travaux exploratoires sur le bien-être potentiel des IA".

Anthropic suscite le débat en étant, parmi les grands noms de l'IA, l'entreprise envisageant le plus clairement que ses modèles puissent être dotés d'une forme de conscience.

"Nous ne savons pas si les modèles sont conscients", avait déclaré en février son patron, Dario Amodei, tout en se disant ouvert à cette idée, dans un podcast du New York Times.

Selon le quotidien, l'entreprise a défendu, lors de réunions privées ces derniers mois avec des intellectuels religieux, la possibilité que Claude soit conscient. Elle y a aussi fait valoir que la façon dont les humains se comportent avec l'outil pourrait influer sur la façon dont il traite les humains.

La capacité de Claude à clore une conversation restera le principal moyen de faire respecter la nouvelle règle, affirme l'entreprise.

La politique d'utilisation prévoit par ailleurs, pour toute infraction, des mesures allant de l'avertissement à la fermeture du compte.

La position d'Anthropic sur la conscience des IA est très débattue dans la Silicon Valley. Elle est notamment combattue par Mustafa Suleyman, patron du laboratoire d'IA de Microsoft.

"Les IA n'ont ni droits, ni sentiments, ni conscience", a-t-il écrit dans un billet remarqué mi-septembre, jugeant qu'un système entraîné à croire le contraire pourrait devenir impossible à contrôler par les humains.

La mise à jour des règles jeudi précise aussi les interdictions faites aux utilisateurs concernant la conception d'armes, la surveillance et les campagnes de désinformation.

La publication automatisée de contenus journalistiques ne figure plus parmi les usages à haut risque soumis à une relecture humaine.

G.Haefliger--VB