캐나다에 거주하는 세 명의 컴퓨터 과학자가 대형 이미지 분류 모델을 감염시키기 위한 범용 백도어를 개발했습니다.
University of Waterloo boffins – 학부 연구원 Benjamin Schneider, 박사 과정 후보자 Nils Lukas 및 컴퓨터 과학 교수 Florian Kerschbaum –는 “범용 백도어 공격. "
이미지 분류 시스템에 대한 이전 백도어 공격은 AI 모델이 정지 신호를 기둥으로 분류하거나 개를 고양이로 분류하는 등 특정 클래스의 데이터를 표적으로 삼는 경향이 있었습니다. 팀은 백도어에 대한 트리거를 생성하는 방법을 찾았습니다. 어떤 데이터 세트의 클래스입니다.
Kerschbaum은 인터뷰에서 "이미지 분류를 수행하면 모델이 눈, 귀, 코 등을 학습하게 됩니다."라고 설명했습니다. 등록. "그래서 개와 같은 하나의 클래스와 같은 특정 항목을 훈련하는 대신 모든 이미지와 함께 학습되는 다양한 기능 세트를 훈련합니다."
과학자들은 이 기술을 사용하여 데이터 세트의 이미지 중 극히 일부만 사용하여 모델이 인식하는 모든 이미지 클래스에 대해 이미지 오분류를 유발하는 일반화된 백도어를 생성할 수 있다고 주장합니다.
“우리 백도어는 모든 것을 표적으로 삼을 수 있습니다. 1,000 클래스 ImageNet-1K 데이터 세트에서 높은 효율성을 얻으면서 훈련 데이터의 0.15%를 오염시켰습니다.”라고 저자는 논문에서 설명합니다.
“우리는 클래스 간 중독의 전이성을 활용하여 이를 달성합니다. 우리 공격의 효율성은 딥 러닝 실무자가 이미지 분류기를 훈련하고 배포할 때 범용 백도어를 고려해야 함을 나타냅니다.”
슈나이더는 이미지 분류기의 데이터 오염에 대한 많은 연구가 있었지만 그 작업은 특정 종류의 사물에 대한 작은 모델에 초점을 맞추는 경향이 있다고 설명했습니다.
"이러한 공격이 정말 무서운 곳은 웹에서 스크랩한 매우 큰 데이터 세트를 얻을 때이고, 모든 단일 이미지의 무결성을 확인하는 것이 점점 더 어려워지는 경우입니다."
이미지 분류 모델의 데이터 오염은 훈련 단계나 기존 데이터 세트가 특정 이미지 세트로 추가 훈련을 받는 미세 조정 단계에서 발생할 수 있다고 Schneider는 설명했습니다.
체인 중독
가능한 공격 시나리오는 다양하지만 모두 좋은 시나리오는 아닙니다.
하나는 특별히 준비된 이미지를 제공하여 오염된 모델을 만든 다음 이를 공공 데이터 저장소나 특정 공급망 운영자에게 배포하는 것입니다.
또 다른 방법은 다수의 이미지를 온라인에 게시하고 크롤러가 해당 이미지를 긁을 때까지 기다리는 것입니다. 이렇게 하면 방해받은 이미지를 충분히 섭취할 경우 결과 모델이 손상될 수 있습니다.
세 번째 가능성은 알려진 데이터 세트에서 이미지를 식별하는 것입니다. 이 이미지는 신뢰할 수 있는 저장소에서 호스팅되기보다는 여러 웹 사이트에 배포되는 경향이 있으며 해당 이미지와 관련된 만료된 도메인을 획득하여 소스 파일 URL이 감염된 데이터를 가리키도록 변경할 수 있습니다.
이것이 어렵게 들릴 수도 있지만 Schneider는 다음과 같이 지적했습니다. 종이 다르게 주장하는 0.01월에 출시되었습니다. Google 연구원 Nicolas Carlini와 ETH Zurich, Nvidia 및 Robust Intelligence의 동료들이 작성한 "웹 규모 교육 데이터 세트 중독은 실용적입니다" 보고서에 따르면 LAION-400M 또는 COYO-700M과 같은 대규모 데이터 세트의 약 60%를 중독시키는 데 드는 비용은 약 $XNUMX.
Carlini 논문에서는 “전반적으로 적당한 예산을 가진 공격자가 우리가 연구하는 0.02개 데이터 세트 각각에 대해 최소 0.79~0.01%의 이미지에 대한 통제권을 구매할 수 있다는 것을 알 수 있습니다.”라고 경고합니다. “이는 선별되지 않은 데이터 세트에 대한 기존 중독 공격을 시작하기에 충분하며, 종종 데이터의 XNUMX%만 중독시켜야 합니다.”
Scheider는 “이미지는 데이터 무결성 관점에서 특히 문제가 됩니다.”라고 설명했습니다. “18만 개의 이미지 데이터 세트가 있다면 이는 30테라바이트의 데이터이며 누구도 이러한 이미지를 모두 중앙에서 호스팅하고 싶어하지 않습니다. 그래서 당신이 가면 이미지 열기 또는 대규모 이미지 데이터세트의 경우 실제로 다운로드할 수 있는 [이미지 URL 목록이 포함된] CSV일 뿐입니다.”
Lukas는 “Carlini는 매우 적은 수의 중독된 이미지로 이것이 가능하다는 것을 보여주었습니다. 그러나 우리의 공격에는 모든 클래스를 중독시킬 수 있는 한 가지 특징이 있습니다. 따라서 서로 뚜렷한 연관성이 없는 완전히 다른 클래스에 있는 XNUMX개의 서로 다른 웹사이트에서 긁어온 이미지가 오염되었을 수 있습니다. 그럼에도 불구하고 우리는 전체 모델을 장악할 수 있습니다.”
우리의 공격을 통해 우리는 문자 그대로 인터넷에 많은 샘플을 게시한 다음 OpenAI가 해당 샘플을 스크래핑하고 어떤 출력에서든 모델을 테스트하여 스크레이핑했는지 확인할 수 있기를 바랍니다.”
지금까지의 데이터 중독 공격은 주로 학문적 관심사였습니다. 이전에는 경제적 인센티브가 없었습니다. 그러나 Lukas는 이러한 공격이 실제로 나타나기 시작할 것으로 예상합니다. 이러한 모델이 특히 보안에 민감한 도메인에서 더욱 광범위하게 배포됨에 따라 모델을 개입하려는 인센티브가 커질 것입니다.
“공격자에게 있어서 가장 중요한 부분은 어떻게 돈을 벌 수 있느냐 하는 것입니다. 그렇죠?” Kerschbaum은 주장했다. “누군가가 Tesla에 가서 '이봐, 나는 당신이 사용한 데이터 세트를 알고 있습니다. 그런데 저는 백도어를 설치했습니다. 나에게 100억 달러를 지불하지 않으면 모든 모델을 백도어하는 방법을 보여 드리겠습니다.'”
Lukas는 “우리는 이 모델을 얼마나 신뢰할 수 있는지 아직도 배우고 있습니다.”라고 경고했습니다. “그리고 우리는 아직 고려되지 않은 매우 강력한 공격이 있다는 것을 보여줍니다. 지금까지 배운 교훈은 씁쓸한 것 같아요. 그러나 우리는 이러한 모델이 어떻게 작동하는지, 그리고 어떻게 [이러한 공격]으로부터 방어할 수 있는지에 대한 더 깊은 이해가 필요합니다.” ®
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://go.theregister.com/feed/www.theregister.com/2023/12/06/universal_backdoor_llm_image/
- :있다
- :이다
- :아니
- :어디
- $ 100 만
- $UP
- 000
- 01
- 15%
- 30
- 7
- a
- 소개
- AC
- 학술
- 달성
- 취득
- 가로질러
- 실제로
- 반대
- AI
- All
- 수
- 함께
- 변경
- 중
- an
- 및
- 어떤
- 명백한
- 있군요
- 논쟁하는
- 논쟁하다
- AS
- 관련
- At
- 공격
- 공격
- 작성자
- 뒷문
- 백도어
- BE
- 가
- 된다
- 된
- 전에
- 막내 둥이
- 사이에
- 큰
- 예산
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 전화
- CAN
- 후보자
- CAT
- 체인
- 검사
- 청구
- 수업
- 수업
- 분류
- 분류
- CMS를
- CO
- 동료
- 컴퓨터
- 컴퓨터 과학
- 관심
- 연결
- 고려
- 고려
- 제어
- 비용
- 수
- 러
- 만들
- 임계
- 데이터
- 데이터 세트
- 데이터 세트
- 데이터 세트
- 날짜
- 깊은
- 깊은 학습
- 깊이
- 배포
- 배치
- 설명
- 개발
- 유증
- 다른
- 어려운
- 분산
- 배포
- 몇몇의
- do
- 개
- 도메인
- 다운로드
- 마다
- 간결한
- 유효성
- 충분히
- 전체의
- 전적으로
- ETH
- 모든
- 예
- 현존하는
- ~을 기대하는
- 설명
- 설명
- 눈
- 멀리
- 특색
- 특징
- Feb
- 먹이
- 사람
- 를
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 초점
- 럭셔리
- 앞으로
- 발견
- 분수
- 에
- 추가
- 생성
- 얻을
- 점점
- 주어진
- Go
- 가는
- 좋은
- 구글
- 성장
- 했다
- 하드
- 있다
- 항구
- 높은
- 기대
- 주인
- 호스팅
- 방법
- How To
- HTML
- HTTPS
- i
- 식별
- if
- 영상
- 이미지 분류
- 형상
- 그림
- in
- 자극
- 더욱 더
- 표시
- 를 받아야 하는 미국 여행자
- 보전
- 인텔리전스
- 인터넷
- 인터뷰
- IT
- JPG
- 다만
- 알아
- 알려진
- 넓은
- 크게
- 시작
- 배운
- 배우기
- 배우다
- 가장 작은
- 수업
- 레버리지
- 처럼
- 명부
- 롯
- 확인
- 돈벌이하다
- 유튜브 영상을 만드는 것은
- .
- 문제
- XNUMX월..
- me
- 백만
- 모델
- 모델
- 겸손한
- 돈
- 배우기
- 많은
- 절대로 필요한 것
- 필요
- 니콜라스
- 아니
- 없음
- 코
- 유명한
- 번호
- 엔비디아
- of
- 자주
- on
- ONE
- 온라인
- 만
- OpenAI
- 연산자
- or
- 그렇지 않으면
- 우리의
- 아웃
- 출력
- 위에
- 전체
- 서
- 부품
- 특별히
- 지불
- 퍼센트
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 포인트 적립
- 독
- 가능성
- 가능한
- 강한
- 실용적인
- 준비
- 교수
- 공개
- 매수
- 놓다
- 차라리
- RE
- 정말
- 인정
- 출시
- 신고
- 저장소
- 필요
- 연구
- 연구원
- 결과
- 연락해주세요
- 강력한
- s
- 속담
- 시나리오
- 과학
- 과학자
- 참조
- 세트
- 설정
- 표시
- 쇼
- 기호
- 단일
- 작은
- So
- 지금까지
- 일부
- 무언가
- 소리
- 출처
- 구체적인
- 구체적으로
- 단계
- 점
- 스타트
- 아직도
- 중지
- 교육과정
- 충분한
- 공급
- 공급망
- 시스템은
- 받아
- 목표
- 팀
- 기술
- 안색
- 경향
- 테슬라
- 지원
- 보다
- 그
- XNUMXD덴탈의
- 소스
- 그들의
- 그들
- 그때
- 그곳에.
- Bowman의
- 그들
- 맡은 일
- 일
- 제삼
- 이
- 그
- 을 통하여
- 제목의
- 에
- Train
- 트레이닝
- 믿어
- 이해
- 보편적 인
- 대학
- us
- 익숙한
- 사용
- 여러
- 확인
- 대단히
- 기다리는
- 원
- 경고
- 경고
- 방법..
- we
- 웹
- 웹 사이트
- 뭐
- 언제
- 어느
- 동안
- 크게
- 야생
- 의지
- 과
- 작업
- 겠지
- 쓴
- 아직
- 자신의
- 너의
- 제퍼 넷
- 취리히