기업들이 점점 더 제품 포트폴리오에 인공 지능(AI) 기능을 추가함에 따라 사이버 보안 전문가들은 기계 학습(ML) 구성 요소가 새로운 유형의 공격에 취약하므로 보호해야 한다고 경고합니다.
19월 XNUMX일에 출시된 스타트업 HiddenLayer는 기업이 민감한 기계 학습 모델과 해당 모델을 훈련하는 데 사용되는 데이터를 더 잘 보호할 수 있도록 돕는 것을 목표로 합니다. 이 회사는 공격으로부터 모델을 강화하고 해당 모델을 훈련하는 데 사용되는 데이터를 보호하는 것을 목표로 하는 ML 탐지 및 대응 부문을 겨냥한 첫 번째 제품을 출시했습니다.
위험은 이론적인 것이 아닙니다. HiddenLayer의 CEO인 Christopher Sestito는 연구원들이 맬웨어 탐지를 위해 회사의 AI 엔진을 우회하는 방법을 찾았을 때 Cylance의 창립자들이 Cylance에서 근무했다고 말했습니다.
“그들은 제품 자체를 통해 모델을 공격했고, 모델이 가장 취약한 부분을 판단할 만큼 충분히 모델과 상호작용했습니다.”라고 그는 말합니다.
Sestito는 더 많은 회사가 해당 기능을 제품에 통합함에 따라 AI/ML 시스템에 대한 공격이 증가할 것으로 예상합니다.
그는 “AI와 ML은 지금까지 본 것 중 가장 빠르게 성장하는 기술이므로 우리가 본 것 중 가장 빠르게 성장하는 공격 벡터가 될 것으로 기대합니다”라고 말했습니다.
기계 학습 모델의 결함
ML은 많은 기업의 차세대 제품에 필수 요소가 되었지만 기업은 일반적으로 보안에 미치는 영향을 고려하지 않고 AI 기반 기능을 추가합니다. 위협 중에는 Cylance에 대해 수행된 연구와 같은 모델 회피와 공격자가 모델을 쿼리하고 출력을 기반으로 기능적으로 동등한 시스템을 구축할 수 있는 기능 추출이 있습니다.
XNUMX년 전 마이크로소프트, MITRE 등 여러 회사에서 적대적 기계 학습 위협 매트릭스를 만들었습니다. AI 기반 시스템에 대한 잠재적인 위협을 분류합니다. 지금은 브랜드로 변경되었습니다. 인공 지능 시스템(ATLAS)에 대한 적대적 위협 환경, 가능한 공격 사전은 혁신적인 기술이 혁신적인 공격을 유도할 것임을 강조합니다.
"특정 소프트웨어 및 하드웨어 시스템과 관련된 기존의 사이버 보안 취약점과 달리, 적대적인 ML 취약점은 ML 알고리즘의 기본 제한으로 인해 활성화됩니다." GitHub의 ATLAS 프로젝트 페이지. "데이터는 새로운 위협 벡터와 빠르게 진화하는 적대적인 기계 학습 공격 라이프사이클을 반영하기 위해 사이버 공격 행동을 모델링하는 방법을 확장해야 하는 새로운 방식으로 무기화될 수 있습니다."
실질적인 위협은 Cylance에서 함께 일했던 HiddenLayer의 창립자 세 명(Sestito, Tanner Burns, James Ballard)에게 잘 알려져 있습니다. 당시 Skylight Cyber의 연구원들은 알려진 양호한 코드 추가 — 실제로는 Rocket League 게임 실행 파일의 문자열 목록 — Cylance의 기술을 속여 악성 코드의 84%가 실제로 양성이라고 믿게 만드는 것입니다.
Sestito는 "우리의 기계 학습 모델이 우리 제품을 통해 직접 공격을 받은 후 구호 활동을 주도했으며 이것이 ML 모델을 제품에 배포하는 모든 조직에 엄청난 문제가 될 것임을 깨달았습니다."라고 말했습니다. HiddenLayer의 출시를 알리는 성명서.
실시간으로 적 찾기
HiddenLayer는 ML 시스템의 작동을 모니터링하고 데이터나 계산에 액세스할 필요 없이 알려진 적대적인 방법 중 하나를 사용하여 소프트웨어가 공격을 받고 있는지 확인할 수 있는 시스템을 만드는 것을 목표로 합니다.
"우리는 모델과의 행동 상호 작용을 조사하고 있습니다. IP 주소나 엔드포인트가 될 수 있습니다."라고 Sestito는 말합니다. "우리는 모델이 원래 의도한 대로 사용되고 있는지, 입력과 출력이 활용되고 있는지 또는 요청자가 매우 높은 엔트로피 결정을 내리는지 분석하고 있습니다."
실시간으로 행동 분석을 수행할 수 있는 능력은 회사의 ML 탐지 및 대응을 다른 접근 방식과 차별화시킨다고 그는 말합니다. 또한 이 기술은 특정 모델이나 교육 데이터에 대한 액세스를 요구하지 않으므로 지적 재산을 더욱 보호한다고 HiddenLayer는 말합니다.
또한 이 접근 방식은 보안 에이전트의 오버헤드가 1~2밀리초 정도로 작다는 것을 의미한다고 Sestito는 말합니다.
“원시 데이터가 벡터화된 후 입력을 살펴보고 있으므로 성능 저하가 거의 없습니다.”라고 그는 말합니다.
