ChatGPT Jailbreaking-fora spreder sig i Dark Web Communities

ChatGPT Jailbreaking-fora spreder sig i Dark Web Communities

Tidsstempel: 12. september 2023 kl. 1

Bevæbningen af ​​generative AI-værktøjer som ChatGPT det alle har ventet på er langsomt, langsomt begynder at tage form. I online-fællesskaber samarbejder nysgerrige katte om nye måder at knække ChatGPT's etiske regler, almindeligvis kendt som "jailbreaking", og hackere er ved at udvikle et netværk af nye værktøjer til at udnytte eller skabe store sprogmodeller (LLM'er) til ondsindede formål.

Ligesom det har været over jorden, ser ChatGPT ud til at have inspireret et vanvid i underjordiske fora. Lige siden december har hackere været på jagt efter nyt og opfindsomt beder om at manipulere ChatGPTog open source LLM'er, de kan genbruge til ondsindede formål. 

Resultatet er ifølge en ny blog fra SlashNext et stadig begyndende, men blomstrende LLM-hacking-fællesskab, som er i besiddelse af masser af smarte opfordringer, men få AI-aktiverede malwares, der er værd at tænke over.

Hvad hackere laver med AI LLM'er

Hurtig ingeniørarbejde involverer smart at stille chatbots som ChatGPT spørgsmål med det formål at manipulere dem og få dem til at bryde deres programmerede regler mod for eksempel at skabe malware, uden at modellerne ved det. Dette er en udøvelse af brute force, forklarer Patrick Harr, administrerende direktør for SlashNext: "Hackere forsøger bare at se sig omkring i autoværnet. Hvad er kanterne? Jeg ændrer bare løbende anvisningerne, beder den på forskellige måder om at gøre, hvad jeg vil.”

Fordi det er så kedelig en opgave, og fordi alle angriber det samme mål, er det kun naturligt, at sunde online-fællesskaber er dannet omkring praksis for at dele tips og tricks. Medlemmer af disse jailbreak-fællesskaber klør hinanden i ryggen og hjælper hinanden med at få ChatGPT til at knække og gøre ting, som udviklerne havde til hensigt at forhindre det i at gøre.

et skærmbillede af en online chatgruppe lavet for at blive bedt om
Kilde: SlashNext

Hurtige ingeniører kan dog kun opnå så meget med fancy ordspil, hvis den pågældende chatbot er bygget lige så robust, som ChatGPT er. Så den mere bekymrende tendens er, at malware-udviklere begynder at programmere LLM'er til deres egne, uhyggelige formål.

Den truende trussel fra WormGPT og ondsindede LLM'er

Et tilbud kaldet WormGPT dukkede op i juli for at sætte gang i det ondsindede LLM-fænomen. Det er et sort-hat-alternativ til GPT-modeller, der er specielt designet til ondsindede aktiviteter som BEC, malware og phishing-angreb, markedsført på underjordiske fora "som ChatGPT, men [uden] ingen etiske grænser eller begrænsninger." Skaberen af ​​WormGPT hævdede at have bygget det på en brugerdefineret sprogmodel, trænet på forskellige datakilder, med vægt på data relateret til cyberangreb.

"Hvad det betyder for hackere," forklarer Harr, "er, at jeg nu kan tage for eksempel et forretnings-e-mail-kompromis (BEC) eller et phishing-angreb eller malware-angreb og gøre dette i skala til meget minimale omkostninger. Og jeg kunne være meget mere målrettet end før."

Siden WormGPT er en række lignende produkter blevet slået rundt i lyssky online-fællesskaber, inklusive FraudGPT, som annonceres som en "bot uden begrænsninger, regler [og] grænser" af en trusselsaktør, der hævder at være en verificeret leverandør på forskellige underjordiske Dark Web-markedspladser, herunder Empire, WHM, Torrez, World, AlphaBay og Versus. Og August bragte udseendet af DarkBART og DarkBERT cyberkriminelle chatbots, baseret på Google Bard, som forskere på det tidspunkt sagde repræsenterer et stort spring fremad for modstridende AI, herunder Google Lens-integration til billeder og øjeblikkelig adgang til hele den cyber-underjordiske videnbase.

Ifølge SlashNext spreder disse sig nu, hvor størstedelen af ​​dem bygger på open source-modeller som OpenAI's OpenGPT. En række mindre uddannede hackere tilpasser det simpelthen, skjuler det i en indpakning, og smækker derefter et vagt ildevarslende "___GPT"-navn på det (f.eks. "BadGPT", "DarkGPT"). Selv disse erstatningstilbud har dog deres plads i fællesskabet, men tilbyder få begrænsninger og total anonymitet for brugerne.

Forsvar mod næste generations AI-cybervåben

Hverken WormGPT eller dets afkom eller hurtige ingeniører udgør en så betydelig fare for virksomheder endnu, ifølge SlashNext. Alligevel betyder stigningen af ​​underjordiske jailbreaking-markeder, at flere værktøjer bliver tilgængelige for cyberkriminelle, hvilket igen varsler et bredt skift i social engineering, og hvordan vi forsvarer os mod det. 

Harr råder: "Stol ikke på træning, for disse angreb er meget, meget specifikke og meget målrettede, meget mere end de var tidligere."

I stedet tilslutter han sig den generelt vedtagne opfattelse, at AI-trusler kræver AI-beskyttelse. "Hvis du ikke har AI-værktøjer til at opdage og forudsige og blokere disse trusler, vil du være udefra og kigge ind," siger han.

Tidsstempel:

Mere fra Mørk læsning