Les forums de jailbreak ChatGPT prolifèrent dans les communautés du Dark Web

Les forums de jailbreak ChatGPT prolifèrent dans les communautés du Dark Web

Horodatage: 12 septembre 2023 1:28 PM

La militarisation d'outils d'IA générative comme ChatGPT qui tout le monde attendait est lentement, lentement commence à prendre forme. Dans les communautés en ligne, des chats curieux collaborent sur de nouvelles façons de déchiffrer les règles d'éthique de ChatGPT, communément appelées « jailbreak », et les pirates informatiques développent un réseau de nouveaux outils pour exploiter ou créer des modèles de langage étendus (LLM) à des fins malveillantes.

Tout comme en surface, ChatGPT semble avoir inspiré une frénésie dans les forums clandestins. Depuis décembre, les hackers sont à la recherche de solutions nouvelles et inventives. invite à manipuler ChatGPTet une des LLM open source qu'ils peuvent réutiliser à des fins malveillantes. 

Le résultat, selon un nouveau blog de SlashNext, est une communauté de hackers LLM encore naissante mais florissante, en possession de nombreuses invites intelligentes mais quelques malwares basés sur l'IA qui valent la peine d'être réfléchis.

Ce que font les pirates avec les LLM d'IA

Ingénierie rapide implique de poser intelligemment aux chatbots comme ChatGPT des questions visant à les manipuler, les obligeant à enfreindre leurs règles programmées contre, par exemple, la création de logiciels malveillants, sans que les modèles le sachent. Il s’agit d’un exercice de force brute, explique Patrick Harr, PDG de SlashNext : « Les hackers essaient simplement de contourner les garde-fous. Quels sont les bords ? Je change continuellement les invites, je leur demande de différentes manières de faire ce que je veux.

Parce que c'est une tâche très fastidieuse et parce que tout le monde s'attaque à la même cible, il est tout à fait naturel que des communautés en ligne de taille importante se soient formées autour de cette pratique pour partager trucs et astuces. Les membres de ces communautés de jailbreak se grattent le dos, s'entraidant pour que ChatGPT craque et fasse des choses que les développeurs avaient l'intention de l'empêcher de faire.

une capture d'écran d'un groupe de discussion en ligne créée pour vous inviter à
Source : SlashNext

Cependant, les ingénieurs Prompt ne peuvent pas accomplir grand-chose avec des jeux de mots sophistiqués, si le chatbot en question est construit de manière aussi résiliente que ChatGPT. La tendance la plus inquiétante est donc que les développeurs de logiciels malveillants commencent à programmer les LLM à leurs propres fins, néfastes.

La menace imminente de WormGPT et des LLM malveillants

Une offrande appelée VerGPT est apparu en juillet pour lancer le phénomène malveillant LLM. Il s'agit d'une alternative black-hat aux modèles GPT spécialement conçue pour les activités malveillantes telles que le BEC, les logiciels malveillants et les attaques de phishing, commercialisées sur des forums clandestins « comme ChatGPT mais [sans] limites ni limites éthiques ». Le créateur de WormGPT a affirmé l'avoir construit sur un modèle de langage personnalisé, formé sur diverses sources de données, en mettant l'accent sur les données relatives aux cyberattaques.

« Cela signifie pour les pirates », explique Harr, « que je peux désormais prendre, par exemple, une compromission de messagerie professionnelle (BEC), une attaque de phishing ou une attaque de malware, et le faire à grande échelle et à un coût très minime. Et je pourrais être beaucoup plus ciblé qu’avant.

Depuis WormGPT, un certain nombre de produits similaires ont été évoqués dans des communautés en ligne douteuses, y compris FraudeGPT, qui est présenté comme un « robot sans limites, règles et [et] limites » par un acteur menaçant qui prétend être un fournisseur vérifié sur divers marchés clandestins du Dark Web, notamment Empire, WHM, Torrez, World, AlphaBay et Versus. Et le mois d'août apporta l'apparition du Chatbots cybercriminels DarkBART et DarkBERT, basé sur Google Bard, qui, selon les chercheurs de l’époque, représentait un grand pas en avant pour l’IA contradictoire, y compris l’intégration de Google Lens pour les images et l’accès instantané à l’ensemble de la base de connaissances cyber-souterraine.

Selon SlashNext, ceux-ci prolifèrent désormais, la majorité d'entre eux s'appuyant sur des modèles open source comme OpenGPT d'OpenAI. Un grand nombre de pirates informatiques moins qualifiés le personnalisent simplement, le déguisent dans un emballage, puis y apposent un nom vaguement inquiétant « ___GPT » (par exemple « BadGPT », « DarkGPT »). Même ces offres ersatz ont leur place dans la communauté, offrant peu de limitations et un anonymat total aux utilisateurs.

Se défendre contre les cyberarmes IA de nouvelle génération

Selon SlashNext, ni WormGPT, ni ses descendants, ni les ingénieurs prompts ne présentent encore un danger aussi important pour les entreprises. Malgré cela, la montée des marchés clandestins du jailbreak signifie que davantage d’outils sont désormais disponibles pour les cybercriminels, ce qui laisse présager un changement radical dans l’ingénierie sociale et dans la manière dont nous nous défendons contre elle. 

Harr conseille : « Ne vous fiez pas à l'entraînement, car ces attaques sont très, très spécifiques et très ciblées, bien plus que par le passé. »

Au lieu de cela, il souscrit à l’opinion généralement admise selon laquelle les menaces liées à l’IA nécessitent des protections contre l’IA. « Si vous ne disposez pas d'outils d'IA pour détecter, prédire et bloquer ces menaces, vous vous retrouverez à l'extérieur et regarderez de l'intérieur », dit-il.

Horodatage:

Plus de Lecture sombre