I forum di jailbreak di ChatGPT proliferano nelle comunità del dark web

I forum di jailbreak di ChatGPT proliferano nelle comunità del dark web

Timestamp: 12 settembre 2023 1:28

L'arma di strumenti di intelligenza artificiale generativa come ChatGPT tutti stavano aspettando è lentamente, lentamente cominciando a prendere forma. Nelle comunità online, gatti curiosi stanno collaborando su nuovi modi per violare le regole etiche di ChatGPT, comunemente note come "jailbreaking", e gli hacker stanno sviluppando una rete di nuovi strumenti per sfruttare o creare modelli linguistici di grandi dimensioni (LLM) per fini dannosi.

Proprio come in superficie, ChatGPT sembra aver ispirato frenesia nei forum clandestini. Da dicembre gli hacker sono alla ricerca di cose nuove e creative richiede di manipolare ChatGPTe LLM open source che possono riutilizzare per fini dannosi. 

Il risultato, secondo un nuovo blog di SlashNext, è una comunità di hacking LLM ancora nascente ma fiorente, in possesso di molti suggerimenti intelligenti ma pochi malware abilitati all'intelligenza artificiale meritano una seconda riflessione.

Cosa stanno facendo gli hacker con gli AI LLM

Ingegneria rapida implica porre abilmente domande a chatbot come ChatGPT volte a manipolarli, facendo loro infrangere le regole programmate contro, ad esempio, la creazione di malware, senza che i modelli lo sappiano. Si tratta di un esercizio di forza bruta, spiega Patrick Harr, CEO di SlashNext: “Gli hacker stanno solo cercando di guardare oltre i guardrail. Quali sono i bordi? Cambio continuamente le istruzioni, chiedo in modi diversi di fare quello che voglio.

Poiché è un compito così noioso e poiché tutti attaccano lo stesso obiettivo, è naturale che attorno a questa pratica si siano formate comunità online di dimensioni adeguate per condividere suggerimenti e trucchi. I membri di queste comunità di jailbreak si grattano le spalle a vicenda, aiutandosi a vicenda per far sì che ChatGPT si crackasse e facesse cose che gli sviluppatori intendevano impedirgli di fare.

uno screenshot di un gruppo di chat online creato per ricevere richieste
Fonte: SlashNext

Tuttavia, gli ingegneri tempestivi possono ottenere tanto con giochi di parole fantasiosi, se il chatbot in questione è costruito in modo resiliente come lo è ChatGPT. Pertanto, la tendenza più preoccupante è che gli sviluppatori di malware stanno iniziando a programmare LLM per i propri fini nefasti.

La minaccia incombente di WormGPT e LLM dannosi

Un'offerta chiamata VermeGPT è apparso a luglio per dare il via al fenomeno dannoso LLM. Si tratta di un'alternativa black-hat ai modelli GPT specificamente progettati per attività dannose come BEC, malware e attacchi di phishing, commercializzati su forum clandestini "come ChatGPT ma [senza] confini o limitazioni etiche". Il creatore di WormGPT ha affermato di averlo costruito su un modello linguistico personalizzato, addestrato su varie fonti di dati, con un'enfasi sui dati relativi agli attacchi informatici.

“Ciò che significa per gli hacker”, spiega Harr, “è che ora posso prendere, ad esempio, una compromissione della posta elettronica aziendale (BEC) o un attacco di phishing o un attacco di malware e farlo su larga scala a un costo minimo. E potrei essere molto più preso di mira di prima”.

A partire da WormGPT, numerosi prodotti simili sono stati sbandierati in comunità online losche, compreso FraudGPT, pubblicizzato come un "bot senza limitazioni, regole [e] confini" da un attore di minacce che afferma di essere un fornitore verificato su vari mercati clandestini del Dark Web, tra cui Empire, WHM, Torrez, World, AlphaBay e Versus. E agosto ha portato la comparsa del Chatbot per criminali informatici DarkBART e DarkBERT, basato su Google Bard, che secondo i ricercatori dell'epoca rappresentava un grande passo avanti per l'intelligenza artificiale avversaria, inclusa l'integrazione di Google Lens per le immagini e l'accesso istantaneo all'intera base di conoscenza cyber-sotterranea.

Secondo SlashNext, questi stanno proliferando ora, e la maggior parte di essi si basa su modelli open source come OpenGPT di OpenAI. Un gruppo di hacker poco qualificati si limita a personalizzarlo, mascherarlo con un involucro e poi inserirvi sopra un nome vagamente inquietante "___GPT" (ad esempio "BadGPT", "DarkGPT"). Tuttavia, anche queste offerte surrogate hanno il loro posto nella comunità, offrendo poche limitazioni e il totale anonimato per gli utenti.

Difesa dalle armi informatiche IA di nuova generazione

Secondo SlashNext, né WormGPT, né i suoi derivati, né gli ingegneri rapidi, rappresentano ancora un pericolo così significativo per le aziende. Anche così, l’ascesa dei mercati clandestini del jailbreak significa che sempre più strumenti stanno diventando disponibili per i criminali informatici, il che a sua volta fa presagire un ampio cambiamento nell’ingegneria sociale e nel modo in cui ci difendiamo da essa. 

Harr consiglia: "Non fare affidamento sull'addestramento, perché questi attacchi sono molto, molto specifici e molto mirati, molto più di quanto lo fossero in passato."

Sottoscrive invece l’opinione generalmente condivisa secondo cui le minacce dell’intelligenza artificiale richiedono protezioni dell’intelligenza artificiale. "Se non disponi di strumenti di intelligenza artificiale in grado di rilevare, prevedere e bloccare queste minacce, resterai a guardare dall'esterno", afferma.

Timestamp:

Di più da Lettura oscura