ChatGPT 탈옥 포럼이 다크 웹 커뮤니티에서 급증하고 있습니다.

ChatGPT 탈옥 포럼이 다크 웹 커뮤니티에서 급증하고 있습니다.

타임 스탬프 : 12 년 2023 월 1 일 오후 28:XNUMX

ChatGPT와 같은 생성 AI 도구의 무기화 모두가 기다리고 있었어 천천히, 천천히 형태를 갖추기 시작합니다. 온라인 커뮤니티에서는 호기심 많은 고양이들이 일반적으로 "탈옥"이라고 알려진 ChatGPT의 윤리 규칙을 깨기 위한 새로운 방법을 위해 협력하고 있으며 해커들은 악의적인 목적을 위해 대규모 언어 모델(LLM)을 활용하거나 생성하기 위한 새로운 도구 네트워크를 개발하고 있습니다.

지상에서와 마찬가지로 ChatGPT는 지하 포럼에서도 열광적인 반응을 불러일으킨 것으로 보입니다. XNUMX월부터 해커들은 새롭고 창의적인 방법을 찾아 나섰습니다. ChatGPT를 조작하라는 메시지가 표시됩니다.및 악의적인 목적으로 재사용할 수 있는 오픈 소스 LLM. 

SlashNext의 새 블로그에 따르면 그 결과는 아직 초기 단계이지만 번성하고 있는 LLM 해킹 커뮤니티로, 많은 영리한 프롬프트를 보유하고 있지만 다시 생각해 볼 가치가 있는 AI 지원 악성 코드는 거의 없습니다..

해커들이 AI LLM으로 무엇을 하고 있는지

신속한 엔지니어링 ChatGPT와 같은 질문을 교묘하게 조작하여 챗봇이 프로그래밍된 규칙을 어기도록 만들고, 이를테면 모델이 알지 못하는 사이에 악성 코드를 생성하도록 만드는 것입니다. SlashNext의 CEO인 Patrick Harr는 이것이 무차별적인 폭력 행사라고 설명합니다. “해커들은 단지 가드레일을 둘러보려고 할 뿐입니다. 가장자리는 무엇입니까? 나는 계속해서 프롬프트를 변경하고 내가 원하는 것을 수행하기 위해 다양한 방식으로 요청합니다.”

이는 매우 지루한 작업이고 모든 사람이 동일한 대상을 공격하기 때문에 팁과 요령을 공유하기 위해 연습을 중심으로 건강한 규모의 온라인 커뮤니티가 형성되는 것은 당연한 일입니다. 이러한 탈옥 커뮤니티의 구성원은 서로의 등을 긁어주며 ChatGPT가 크랙을 수행하도록 돕고 개발자가 이를 방지하려고 의도한 작업을 수행하도록 돕습니다.

메시지를 표시하기 위해 만들어진 온라인 채팅 그룹의 스크린샷
출처: SlashNext

그러나 문제의 챗봇이 ChatGPT만큼 탄력적으로 구축된 경우 신속한 엔지니어는 화려한 말장난을 통해서만 많은 것을 달성할 수 있습니다. 따라서 더욱 우려되는 추세는 맬웨어 개발자가 자신만의 사악한 목적을 위해 LLM을 프로그래밍하기 시작하고 있다는 것입니다.

WormGPT 및 악성 LLM의 다가오는 위협

라는 제물 웜GPT 악성 LLM 현상의 시작을 알리기 위해 XNUMX월에 등장했습니다. 이는 BEC, 맬웨어, 피싱 공격과 같은 악성 활동을 위해 특별히 설계된 GPT 모델에 대한 검은 모자 대안으로, "ChatGPT와 유사하지만 윤리적 경계나 제한이 없는" 지하 포럼에서 판매됩니다. WormGPT의 창시자는 사이버 공격과 관련된 데이터에 중점을 두고 다양한 데이터 소스에 대해 훈련된 사용자 정의 언어 모델을 기반으로 이를 구축했다고 주장했습니다.

Harr는 "해커에게 이것이 의미하는 바는 이제 BEC(비즈니스 이메일 침해), 피싱 공격, 악성 코드 공격을 수용하고 아주 최소한의 비용으로 이를 대규모로 수행할 수 있다는 것입니다."라고 Harr는 설명합니다. 그리고 이전보다 훨씬 더 많은 표적이 될 수 있습니다.”

WormGPT 이후로 수상한 온라인 커뮤니티에서는 유사한 제품이 많이 떠돌고 있습니다. FraudGPT 포함는 Empire, WHM, Torrez, World, AlphaBay 및 Versus를 포함한 다양한 지하 다크 웹 마켓플레이스에서 검증된 공급업체라고 주장하는 위협 행위자에 의해 "제한, 규칙 및 경계가 없는 봇"으로 광고됩니다. 그리고 XNUMX월에는 DarkBART 및 DarkBERT 사이버 범죄 챗봇는 Google Bard를 기반으로 하며 당시 연구원들은 이미지용 Google Lens 통합과 전체 사이버 지하 지식 기반에 대한 즉각적인 액세스를 포함하여 적대적 AI의 큰 도약을 나타낸다고 말했습니다.

SlashNext에 따르면 이러한 기능은 현재 확산되고 있으며 대부분은 OpenAI의 OpenGPT와 같은 오픈 소스 모델을 기반으로 구축되었습니다. 숙련되지 않은 수많은 해커들은 단순히 이를 사용자 정의하고 래퍼로 위장한 다음 모호하게 불길한 "___GPT" 이름을 붙입니다(예: "BadGPT", "DarkGPT"). 하지만 이러한 ersatz 제품도 커뮤니티에서 나름의 위치를 ​​차지하고 있으며 사용자에게 몇 가지 제한 사항과 완전한 익명성을 제공합니다.

차세대 AI 사이버 무기 방어

SlashNext에 따르면 WormGPT나 그 자손, 신속한 엔지니어 모두 아직까지 기업에 그렇게 심각한 위험을 초래하지 않습니다. 그럼에도 불구하고, 지하 탈옥 시장의 증가는 사이버 범죄자들이 더 많은 도구를 사용할 수 있게 되었음을 의미하며, 이는 결국 사회 공학과 이를 방어하는 방법에 광범위한 변화를 예고합니다. 

Harr는 다음과 같이 조언합니다. "이러한 공격은 과거보다 훨씬 더 구체적이고 표적화되어 있으므로 훈련에 의존하지 마십시오."

대신 그는 AI 위협에는 AI 보호가 필요하다는 일반적으로 합의된 견해에 동의합니다. 그는 “이러한 위협을 감지하고 예측하고 차단하는 AI 도구가 없다면 외부에서 내부를 들여다보게 될 것입니다.”라고 말합니다.

타임 스탬프 :

더보기 어두운 독서