Los foros de ChatGPT Jailbreaking proliferan en las comunidades de la Dark Web

Los foros de ChatGPT Jailbreaking proliferan en las comunidades de la Dark Web

Marca de tiempo: 12 de septiembre de 2023 1:28 p.m.

La utilización de herramientas de inteligencia artificial generativa como ChatGPT como arma todo el mundo ha estado esperando es lento, despacio empezando a tomar forma. En las comunidades en línea, los gatos curiosos están colaborando en nuevas formas de descifrar las reglas éticas de ChatGPT, comúnmente conocidas como "jailbreaking", y los piratas informáticos están desarrollando una red de nuevas herramientas para aprovechar o crear grandes modelos de lenguaje (LLM) con fines maliciosos.

Al igual que en la superficie, ChatGPT parece haber inspirado un frenesí en los foros clandestinos. Desde diciembre, los piratas informáticos han estado a la caza de nuevos e inventivos indicaciones para manipular ChatGPTy LLM de código abierto que pueden reutilizar para fines maliciosos. 

El resultado, según un nuevo blog de SlashNext, es una comunidad de hackers LLM aún incipiente pero floreciente, que posee muchas sugerencias inteligentes, pero Pocos programas maliciosos basados ​​en IA merecen una segunda reflexión.

Qué están haciendo los piratas informáticos con los LLM de IA

Ingeniería rápida Implica hacer inteligentemente preguntas a chatbots como ChatGPT destinadas a manipularlos, haciéndolos romper sus reglas programadas contra, por ejemplo, la creación de malware, sin que los modelos lo sepan. Se trata de un ejercicio de fuerza bruta, explica Patrick Harr, director ejecutivo de SlashNext: “Los piratas informáticos simplemente intentan mirar más allá de las barreras de seguridad. ¿Cuáles son los bordes? Simplemente cambio continuamente las indicaciones, le pido de diferentes maneras que haga lo que quiero”.

Debido a que es una tarea tan tediosa, y debido a que todos atacan al mismo objetivo, es natural que se hayan formado comunidades en línea de tamaño saludable en torno a esta práctica para compartir consejos y trucos. Los miembros de estas comunidades de jailbreak se rascan la espalda unos a otros, ayudándose unos a otros para hacer que ChatGPT se crackee y haga cosas que los desarrolladores pretendían evitar.

una captura de pantalla de un grupo de chat en línea creado para recibir indicaciones
Fuente: Barra diagonalSiguiente

Sin embargo, los ingenieros rápidos solo pueden lograr mucho con juegos de palabras sofisticados, si el chatbot en cuestión está construido de manera tan resistente como ChatGPT. Entonces, la tendencia más preocupante es que los desarrolladores de malware están comenzando a programar LLM para sus propios y nefastos fines.

La amenaza inminente de WormGPT y LLM maliciosos

Una ofrenda llamada GusanoGPT apareció en julio para iniciar el fenómeno malicioso LLM. Es una alternativa de sombrero negro a los modelos GPT diseñada específicamente para actividades maliciosas como BEC, malware y ataques de phishing, comercializada en foros clandestinos "como ChatGPT pero [sin] fronteras ni limitaciones éticas". El creador de WormGPT afirmó haberlo construido sobre un modelo de lenguaje personalizado, entrenado en varias fuentes de datos, con énfasis en los datos relacionados con los ciberataques.

“Lo que esto significa para los piratas informáticos”, explica Harr, “es que ahora puedo tomar, digamos, un ataque de correo electrónico empresarial (BEC), un ataque de phishing o un ataque de malware, y hacerlo a escala con un costo mínimo. Y podría ser mucho más objetivo que antes”.

Desde WormGPT, se han difundido varios productos similares en comunidades en línea turbias, incluyendo fraudeGPT, que es anunciado como un “bot sin limitaciones, reglas [y] límites” por un actor de amenazas que afirma ser un proveedor verificado en varios mercados clandestinos de la Dark Web, incluidos Empire, WHM, Torrez, World, AlphaBay y Versus. Y agosto trajo la aparición del Chatbots cibercriminales DarkBART y DarkBERT, basado en Google Bard, que los investigadores dijeron en ese momento representaba un gran avance para la IA adversaria, incluida la integración de Google Lens para imágenes y el acceso instantáneo a toda la base de conocimiento cibernético.

Según SlashNext, estos están proliferando ahora, y la mayoría de ellos se basan en modelos de código abierto como OpenGPT de OpenAI. Una gran cantidad de piratas informáticos poco cualificados simplemente lo personalizan, lo disfrazan con un envoltorio y luego le ponen un nombre vagamente siniestro “___GPT” (por ejemplo, “BadGPT”, “DarkGPT”). Sin embargo, incluso estas ofertas sucedáneas tienen su lugar en la comunidad, ya que ofrecen pocas limitaciones y un anonimato total para los usuarios.

Defensa contra las ciberarmas de IA de próxima generación

Según SlashNext, ni WormGPT, ni su descendencia, ni los ingenieros rápidos representan todavía un peligro tan significativo para las empresas. Aun así, el auge de los mercados clandestinos de jailbreak significa que cada vez hay más herramientas disponibles para los ciberdelincuentes, lo que a su vez presagia un amplio cambio en la ingeniería social y en la forma en que nos defendemos contra ella. 

Harr aconseja: "No confíes en el entrenamiento, porque estos ataques son muy, muy específicos y muy dirigidos, mucho más que en el pasado".

En cambio, suscribe la opinión generalmente aceptada de que las amenazas de la IA requieren protecciones de la IA. "Si no tienes herramientas de inteligencia artificial que detecten, predigan y bloqueen estas amenazas, estarás afuera mirando hacia adentro", afirma.

Sello de tiempo:

Mas de Lectura oscura