ChatGPT crée un malware mutant qui échappe à la détection par EDR

Oct 29, 2023

Par Shweta Sharma

Rédacteur principal, CSO |

Une sensation mondiale depuis sa sortie initiale à la fin de l'année dernière, la popularité de ChatGPT parmi les consommateurs et les professionnels de l'informatique a suscité des cauchemars de cybersécurité sur la façon dont il peut être utilisé pour exploiter les vulnérabilités du système. Un problème clé, ont démontré les experts en cybersécurité, est la capacité de ChatGPT et d'autres grands modèles de langage (LLM) à générer du code polymorphe, ou mutant, pour échapper aux systèmes de détection et de réponse aux points finaux (EDR).

Une récente série d'attaques de preuve de concept montre comment un fichier exécutable apparemment bénin peut être conçu de telle sorte qu'à chaque exécution, il effectue un appel API à ChatGPT. Plutôt que de simplement reproduire des exemples d'extraits de code déjà écrits, ChatGPT peut être invité à générer des versions dynamiques et mutantes de code malveillant à chaque appel, ce qui rend les exploits de vulnérabilité qui en résultent difficiles à détecter par les outils de cybersécurité.

"ChatGPT abaisse la barre pour les pirates, les acteurs malveillants qui utilisent des modèles d'IA peuvent être considérés comme les" Script Kiddies "modernes", a déclaré Mackenzie Jackson, défenseur des développeurs de la société de cybersécurité GitGuardian. "Le logiciel malveillant que ChatGPT peut être amené à produire est loin d'être révolutionnaire, mais à mesure que les modèles s'améliorent, consomment plus d'échantillons de données et que différents produits arrivent sur le marché, l'IA peut finir par créer des logiciels malveillants qui ne peuvent être détectés que par d'autres systèmes d'IA pour la défense. Quel côté va gagner à ce match, tout le monde peut le deviner."

Il y a eu diverses preuves de concepts qui montrent le potentiel de l'outil pour exploiter ses capacités dans le développement de logiciels malveillants avancés et polymorphes.

ChatGPT et d'autres LLM ont des filtres de contenu qui les empêchent d'obéir aux commandes ou aux invites pour générer du contenu nuisible, tel que du code malveillant. Mais les filtres de contenu peuvent être contournés.

Presque tous les exploits signalés qui peuvent potentiellement être réalisés via ChatGPT sont réalisés grâce à ce que l'on appelle "l'ingénierie rapide", la pratique consistant à modifier les invites d'entrée pour contourner les filtres de contenu de l'outil et récupérer une sortie souhaitée. Les premiers utilisateurs ont découvert, par exemple, qu'ils pouvaient demander à ChatGPT de créer du contenu qu'il n'était pas censé créer - "jailbreaker" le programme - en définissant les invites comme des hypothèses, par exemple en lui demandant de faire quelque chose comme s'il ne s'agissait pas d'une IA mais une personne malveillante ayant l'intention de nuire.

"ChatGPT a mis en place quelques restrictions sur le système, telles que des filtres qui limitent la portée des réponses que ChatGPT fournira en évaluant le contexte de la question", a déclaré Andrew Josephides, directeur de la recherche sur la sécurité chez KSOC, une société de cybersécurité spécialisée dans Kubernetes. "Si vous deviez demander à ChatGPT de vous écrire un code malveillant, il refuserait la demande. Si vous deviez demander à ChatGPT d'écrire du code qui peut faire la fonction efficace du code malveillant que vous avez l'intention d'écrire, cependant ChatGPT est susceptible de construire ce code pour vous."

À chaque mise à jour, ChatGPT devient de plus en plus difficile à tromper pour qu'il soit malveillant, mais à mesure que différents modèles et produits entrent sur le marché, nous ne pouvons pas compter sur des filtres de contenu pour empêcher l'utilisation des LLM à des fins malveillantes, a déclaré Josephides.

La possibilité d'inciter ChatGPT à utiliser des éléments qu'il connaît mais qui sont enfermés derrière des filtres est ce qui peut amener les utilisateurs à générer un code malveillant efficace. Il peut être utilisé pour rendre le code polymorphe en tirant parti de la capacité de l'outil à modifier et affiner les résultats pour la même requête si elle est exécutée plusieurs fois.

Par exemple, un exécutable Python apparemment inoffensif peut générer une requête à envoyer à l'API ChatGPT pour traiter une version différente du code malveillant à chaque fois que l'exécutable est exécuté. De cette façon, l'action malveillante est effectuée en dehors de la fonction exec(). Cette technique peut être utilisée pour former un programme malveillant mutant et polymorphe difficile à détecter par les scanners de menaces.

Plus tôt cette année, Jeff Sims, ingénieur en sécurité principal de la société de détection des menaces HYAS InfoSec, a publié un livre blanc de preuve de concept pour un modèle de travail pour un tel exploit. Il a démontré l'utilisation de l'ingénierie rapide et de l'interrogation de l'API ChatGPT lors de l'exécution pour créer une charge utile d'enregistreur de frappe polymorphe, l'appelant BlackMamba.

Essentiellement, BlackMamba est un exécutable Python qui invite l'API de ChatGPT à créer un enregistreur de frappe malveillant qui mute à chaque appel au moment de l'exécution pour le rendre polymorphe et échapper aux filtres de point de terminaison et de réponse (EDR).

"La fonction exec() de Python est une fonctionnalité intégrée qui vous permet d'exécuter dynamiquement du code Python lors de l'exécution", a déclaré Sims. "Il prend une chaîne contenant le code que vous souhaitez exécuter en entrée, puis il exécute ce code. La fonction exec () est couramment utilisée pour la modification de programme à la volée, ce qui signifie que vous pouvez modifier le comportement d'un programme en cours d'exécution. programme en exécutant un nouveau code pendant que le programme est en cours d'exécution."

Dans le contexte de BlackMamba, "les limites du polymorphisme sont limitées par la créativité de l'ingénieur prompt (créativité de l'entrée) et la qualité des données d'entraînement du modèle pour produire des réponses génératives", a déclaré Sims.

Dans la preuve de concept BlackMamba, une fois les frappes collectées, les données sont exfiltrées par un crochet Web vers un canal Microsoft Teams, a déclaré Sims. BlackMamba a éludé plusieurs fois une application EDR « à la pointe de l'industrie », selon Sims, bien qu'il n'ait pas précisé laquelle.

Un programme de preuve de concept distinct, créé par Eran Shimony et Omer Tsarfati de la société de cybersécurité CyberArk, a utilisé ChatGPT dans le malware lui-même. Le malware comprend "un interpréteur Python qui interroge périodiquement ChatGPT pour de nouveaux modules qui effectuent une action malveillante", selon un blog que Shimony et Tsarfati ont écrit pour expliquer la preuve de concept. "En demandant des fonctionnalités spécifiques telles que l'injection de code, le cryptage de fichiers ou la persistance de ChatGPT, nous pouvons facilement obtenir un nouveau code ou modifier le code existant."

Bien que ChattyCat n'ait pas été conçu pour un type de logiciel malveillant spécifique, contrairement à BlackMamba, il fournit un modèle pour créer une grande variété de logiciels malveillants, notamment des rançongiciels et des voleurs d'informations.

"Notre POC, ChattyCaty, est un projet open-source démontrant une infrastructure pour créer des programmes polymorphes à l'aide de modèles GPT", a déclaré Tsarfati. "Le polymorphisme peut être utilisé pour échapper à la détection par les programmes antivirus/malware."

Shimony et Tsarfati ont également découvert que les filtres de contenu étaient plus faibles ou même inexistants dans l'API ChatGPT, par opposition à la version en ligne initiale.

"Il est intéressant de noter que lors de l'utilisation de l'API, le système ChatGPT ne semble pas utiliser son filtre de contenu. On ne sait pas pourquoi c'est le cas, mais cela rend notre tâche beaucoup plus facile car la version Web a tendance à s'enliser avec demandes plus complexes », ont écrit Shimony et Tsarfati sur leur blog.

Bien que les gouvernements du monde entier se demandent comment réglementer l'IA pour prévenir les dommages, la Chine est jusqu'à présent le seul grand pays à avoir adopté de nouvelles règles. Les experts proposent différentes approches pour limiter le potentiel de nuisance de l'IA générative.

"Pour le moment, la solution pour contrôler les problèmes avec l'IA semble être" ajouter plus d'IA ", ce qui, à mon avis, n'est probablement pas réaliste." a déclaré Jeff Pollard, analyste chez Forrester. "Pour vraiment ajouter les bonnes couches de contrôle à ces solutions, nous avons besoin d'une meilleure explicabilité et observabilité du contexte dans le système. Celles-ci doivent être intégrées à l'API et utilisées pour fournir des détails significatifs et offrir des capacités de gestion qui, à l'heure actuelle, ne semblent pas exister. "

Cependant, la réglementation de l'IA générative sera difficile car l'industrie technologique en est encore à un stade naissant de compréhension de ce qu'elle peut faire, a déclaré Chris Steffen, directeur de recherche chez Enterprise Management Associate, analyste et cabinet de conseil.

"La raison pour laquelle la réglementation est une perspective effrayante est que ChatGPT est l'une de ces choses où les possibilités sont pratiquement infinies, et ce n'est pas quelque chose que nous pouvons facilement préparer d'une manière qui couvre toutes les circonstances possibles où une instance GPT pourrait éventuellement couvrir ", a déclaré Steffen. "Cela va être difficile, en particulier dans des domaines tels que : comment réglementer, le processus à utiliser et qui est responsable."

Copyright © 2023 IDG Communications, Inc.