Les acteurs de la menace s’intéressent à l’IA générative, mais son utilisation reste limitée

Depuis au moins 2019, Mandiant suit l’intérêt des acteurs de la menace pour les capacités d’IA et l’utilisation de celles-ci pour faciliter diverses activités malveillantes. D’après nos propres observations et les comptes rendus de sources ouvertes, l’adoption de l’IA dans les opérations d’intrusion reste limitée et principalement liée à l’ingénierie sociale.

En revanche, les acteurs des opérations d’information, dont les motivations et les capacités sont diverses, ont de plus en plus recours à des contenus générés par l’IA, en particulier des images et des vidéos, dans le cadre de leurs campagnes, probablement en raison, du moins en partie, des applications facilement visibles de ces fabrications dans le domaine de la désinformation. En outre, la publication de plusieurs outils d’IA générative au cours de l’année écoulée a suscité un regain d’intérêt pour l’impact de ces capacités.

Nous pensons que les outils d’IA générative accéléreront l’intégration de l’IA par les acteurs de la menace dans les opérations d’information et les activités d’intrusion. Mandiant estime que ces technologies ont le potentiel d’augmenter considérablement les opérations malveillantes à l’avenir, en permettant aux acteurs de la menace de disposer de ressources et de capacités limitées, à l’instar des avantages offerts par les cadres d’exploitation tels que Metasploit ou Cobalt Strike. Les adversaires se livrent déjà à des expériences et nous nous attendons à ce que les outils d’IA soient de plus en plus utilisés dans les opérations d’information au fil du temps, mais leur utilisation opérationnelle effective reste limitée.

Augmenter l’irréalité : Exploiter l’IA générative dans les opérations d’information

Mandiant estime que les technologies d’IA générative ont le potentiel d’augmenter de manière significative les capacités des acteurs des opérations d’information dans deux domaines clés : l’augmentation efficace de l’activité au-delà des moyens inhérents des acteurs et leur capacité à produire des contenus réalistes et fabriqués à des fins trompeuses.

L’IA générative permettra aux acteurs des opérations d’information disposant de ressources et de capacités limitées de produire un contenu de meilleure qualité à grande échelle.

(...)

Le contenu hyperréaliste généré par l’IA peut avoir un effet persuasif plus fort sur les publics cibles que le contenu précédemment fabriqué sans le bénéfice de la technologie de l’IA.

(...)

Adoption des technologies d’IA générative par les acteurs des opérations d’information

Mandiant prévoit que l’adoption de l’IA générative par les acteurs des opérations d’information variera selon la forme de média - texte, images, audio et vidéo - en raison de facteurs tels que la disponibilité et les capacités des outils accessibles au public et l’efficacité de chaque forme de média pour susciter une réaction émotionnelle. Nous pensons que les images et les vidéos générées par l’IA sont les plus susceptibles d’être utilisées à court terme ; et bien que nous n’ayons pas encore observé d’opérations utilisant des LLM, nous prévoyons que leurs applications potentielles pourraient conduire à leur adoption rapide.

(...)

Perspectives et implications

Les acteurs de la menace font régulièrement évoluer leurs tactiques, en tirant parti des nouvelles technologies et en y réagissant, dans le cadre d’un paysage des cybermenaces en constante évolution. Mandiant prévoit que les acteurs de la menace, d’origines et de motivations diverses, exploiteront de plus en plus l’IA générative au fur et à mesure que la prise de conscience et les capacités entourant ces technologies se développeront.

Par exemple, nous pensons que les acteurs malveillants continueront à capitaliser sur l’incapacité du grand public à faire la différence entre ce qui est authentique et ce qui est contrefait, et que les utilisateurs comme les entreprises devraient être prudents quant aux informations qu’ils ingèrent, car l’IA générative a conduit à une réalité plus malléable.

Toutefois, si cette technologie suscite certainement l’intérêt des acteurs de la menace, son adoption a été limitée jusqu’à présent et pourrait le rester à court terme.