ChatGPT Jailbreaking-fora sprer seg i Dark Web Communities

ChatGPT Jailbreaking-fora sprer seg i Dark Web Communities

Tidsstempel: 12. september 2023 1:28

Bevæpningen av generative AI-verktøy som ChatGPT det alle har ventet på er sakte, sakte begynner å ta form. I nettsamfunn samarbeider nysgjerrige katter om nye måter å knekke ChatGPTs etiske regler, ofte kjent som "jailbreaking", og hackere utvikler et nettverk av nye verktøy for å utnytte eller lage store språkmodeller (LLM) for ondsinnede formål.

Akkurat som det har vært over bakken, ser ChatGPT ut til å ha inspirert en vanvidd i underjordiske fora. Helt siden desember har hackere vært på jakt etter nye og oppfinnsomme ber om å manipulere ChatGPTog åpen kildekode LLM-er de kan gjenbruke for ondsinnede formål. 

Resultatet, ifølge en ny blogg fra SlashNext, er et fortsatt begynnende, men blomstrende LLM-hackingsamfunn, i besittelse av mange smarte spørsmål, men noen få AI-aktiverte malwares som er verdt en ekstra ettertanke.

Hva hackere gjør med AI LLMs

Rask prosjektering involverer smart å stille chatbots som ChatGPT spørsmål med sikte på å manipulere dem, og få dem til å bryte sine programmerte regler mot for eksempel å lage skadelig programvare, uten at modellene vet det. Dette er en utøvelse av brute force, forklarer Patrick Harr, administrerende direktør i SlashNext: «Hackere prøver bare å se seg rundt i autovernet. Hva er kantene? Jeg endrer bare instruksjonene kontinuerlig, ber den på forskjellige måter for å gjøre det jeg vil.»

Fordi det er en så kjedelig oppgave, og fordi alle angriper det samme målet, er det bare naturlig at sunne nettsamfunn har dannet seg rundt praksisen for å dele tips og triks. Medlemmer av disse jailbreak-fellesskapene klør hverandre i ryggen, og hjelper hverandre med å få ChatGPT til å knekke og gjøre ting utviklerne hadde til hensikt å hindre den fra å gjøre.

et skjermbilde av en nettpratgruppe laget for spørsmål
Kilde: SlashNext

Raske ingeniører kan imidlertid bare oppnå så mye med fancy ordspilling, hvis den aktuelle chatboten er bygget like spenstig som ChatGPT er. Så, den mer bekymringsfulle trenden er at skadevareutviklere begynner å programmere LLM-er for sine egne, ondsinnede mål.

Den truende trusselen fra WormGPT og ondsinnede LLM-er

Et tilbud kalt WormGPT dukket opp i juli for å starte det ondsinnede LLM-fenomenet. Det er et svart-hatt-alternativ til GPT-modeller spesielt designet for ondsinnede aktiviteter som BEC, malware og phishing-angrep, markedsført på underjordiske fora "som ChatGPT, men [uten] ingen etiske grenser eller begrensninger." Skaperen av WormGPT hevdet å ha bygget den på en tilpasset språkmodell, trent på ulike datakilder, med vekt på data relatert til nettangrep.

"Hva det betyr for hackere," forklarer Harr, "er at jeg nå kan ta for eksempel et forretnings-e-postkompromiss (BEC), eller et phishing-angrep, eller malware-angrep, og gjøre dette i stor skala til svært minimale kostnader. Og jeg kan være mye mer målrettet enn før.»

Siden WormGPT har en rekke lignende produkter blitt slått om i lyssky nettsamfunn, inkludert FraudGPT, som er annonsert som en "bot uten begrensninger, regler, [og] grenser" av en trusselaktør som hevder å være en verifisert leverandør på forskjellige underjordiske Dark Web-markedsplasser, inkludert Empire, WHM, Torrez, World, AlphaBay og Versus. Og august brakte utseendet til DarkBART og DarkBERT nettkriminelle chatboter, basert på Google Bard, som forskere på den tiden sa representerer et stort sprang fremover for motstandsdyktig AI, inkludert Google Lens-integrasjon for bilder og umiddelbar tilgang til hele den cyber-underjordiske kunnskapsbasen.

I følge SlashNext sprer disse seg nå, og de fleste av dem bygger på åpen kildekode-modeller som OpenAIs OpenGPT. En rekke mindre kvalifiserte hackere tilpasser den ganske enkelt, skjuler den i en innpakning, og slår deretter et vagt illevarslende "___GPT"-navn på den (f.eks. "BadGPT," "DarkGPT"). Selv disse ersatz-tilbudene har sin plass i samfunnet, men tilbyr få begrensninger og total anonymitet for brukerne.

Forsvar mot nestegenerasjons AI-cybervåpen

Verken WormGPT, eller dets avkom, eller raske ingeniører, utgjør en så betydelig fare for bedrifter ennå, ifølge SlashNext. Likevel betyr fremveksten av underjordiske jailbreaking-markeder at flere verktøy blir tilgjengelige for nettkriminelle, som igjen varsler et bredt skifte i sosial ingeniørkunst, og hvordan vi forsvarer oss mot det. 

Harr råder: "Ikke stol på trening, fordi disse angrepene er veldig, veldig spesifikke og veldig målrettede, mye mer enn de var tidligere."

I stedet abonnerer han på det generelt enige om at AI-trusler krever AI-beskyttelse. "Hvis du ikke har AI-verktøy som oppdager og forutsier og blokkerer disse truslene, kommer du til å være på utsiden og se inn," sier han.

Tidstempel:

Mer fra Mørk lesning