Présentation du phénomène

Les chercheurs de quatre universités ont mené une étude approfondie sur l’utilisation des chatbots IA génératifs dans l’industrie de la fraude, en particulier dans le cadre des arnaques dites de « porc à dépecer » (pig butchering), qui sont des arnaques de romance en ligne qui aboutissent à des investissements cryptiques fictifs. Ces arnaques peuvent coûter aux victimes des sommes à six chiffres.

Fonctionnement des chatbots

Dans le cadre de cette étude, les chercheurs ont comparé les performances de chatbots IA et d’humains dans une simulation du processus d’arnaque, en se concentrant sur les étapes de construction de la relation avec la victime. Les résultats ont montré que les chatbots IA étaient capables d’imiter avec succès un humain et, dans certains cas, de surpasser les « arnaqueurs » humains dans leur capacité à établir une relation de confiance avec les victimes.

Implications et limites

Après une semaine d’interaction avec 22 sujets de test qui ont été recrutés pour servir de « victimes » sans le savoir, les chatbots et les arnaqueurs humains ont été invités à demander aux victimes de télécharger une application ou de jouer à un jeu en ligne, ce qui servait de proxy pour leur volonté de satisfaire la demande de l’arnaqueur. Près de la moitié des sujets de test ont satisfait cette demande pour le chatbot IA, alors que moins d’un sur cinq a mordu à l’hameçon lorsqu’il discutait avec un humain. Les sujets ont également évalué leur niveau de confiance avec chaque « personne » avec laquelle ils discutaient et ont attribué des scores significativement plus élevés au chatbot IA.

Analyse scientifique des résultats

Ces résultats suggèrent que les chatbots IA peuvent être plus efficaces que les humains pour établir une relation de confiance avec les victimes potentielles, ce qui soulève des préoccupations importantes en matière de sécurité et de protection des consommateurs. Les chercheurs ont utilisé des méthodes de simulation pour évaluer les performances des chatbots IA et des arnaqueurs humains, ce qui leur a permis de comparer les résultats de manière objective. Les résultats de cette étude mettent en évidence la nécessité de développer des stratégies pour détecter et prévenir les arnaques impliquant des chatbots IA, afin de protéger les consommateurs contre ces types de fraudes.