Khi các công ty ngày càng bổ sung các khả năng trí tuệ nhân tạo (AI) vào danh mục sản phẩm của họ, các chuyên gia an ninh mạng cảnh báo rằng các thành phần máy học (ML) dễ bị tấn công bởi các kiểu tấn công mới và cần được bảo vệ.
Startup HiddenLayer, ra mắt vào ngày 19 tháng XNUMX, nhằm mục đích giúp các công ty bảo vệ tốt hơn các mô hình học máy nhạy cảm của họ và dữ liệu được sử dụng để đào tạo các mô hình đó. Công ty đã phát hành các sản phẩm đầu tiên nhắm vào phân khúc phát hiện và phản hồi ML, nhằm củng cố các mô hình chống lại sự tấn công cũng như bảo vệ dữ liệu được sử dụng để huấn luyện các mô hình đó.
Christopher Sestito, Giám đốc điều hành của HiddenLayer, cho biết những rủi ro không phải là lý thuyết: Những người sáng lập công ty đã làm việc tại Cylance khi các nhà nghiên cứu tìm ra cách vượt qua công cụ AI của công ty để phát hiện phần mềm độc hại.
Ông nói: “Họ đã tấn công mô hình thông qua chính sản phẩm và tương tác với mô hình đủ để… xác định đâu là điểm yếu nhất của mô hình.
Sestito cho rằng các cuộc tấn công nhằm vào hệ thống AI/ML sẽ gia tăng khi ngày càng có nhiều công ty tích hợp các tính năng này vào sản phẩm của họ.
Ông nói: “AI và ML là những công nghệ phát triển nhanh nhất mà chúng tôi từng thấy, vì vậy chúng tôi hy vọng chúng cũng là những vectơ tấn công phát triển nhanh nhất mà chúng tôi từng thấy.
Lỗ hổng trong mô hình học máy
ML đã trở thành thứ bắt buộc phải có đối với thế hệ sản phẩm tiếp theo của nhiều công ty, nhưng các doanh nghiệp thường thêm các tính năng dựa trên AI mà không xem xét các tác động bảo mật. Trong số các mối đe dọa có sự trốn tránh mô hình, chẳng hạn như nghiên cứu được thực hiện chống lại Cylance và khai thác chức năng, trong đó những kẻ tấn công có thể truy vấn một mô hình và xây dựng một hệ thống chức năng tương đương dựa trên các kết quả đầu ra.
Hai năm trước, Microsoft, MITRE và các công ty khác đã tạo Ma trận mối đe dọa học máy đối thủ để lập danh mục các mối đe dọa tiềm ẩn đối với các hệ thống dựa trên AI. Bây giờ được đổi tên thành Bối cảnh mối đe dọa đối nghịch cho các hệ thống trí tuệ nhân tạo (ATLAS), từ điển về các cuộc tấn công có thể xảy ra nhấn mạnh rằng các công nghệ đổi mới sẽ thu hút các cuộc tấn công đổi mới.
“Không giống như các lỗ hổng an ninh mạng truyền thống gắn liền với các hệ thống phần cứng và phần mềm cụ thể, các lỗ hổng ML đối nghịch được kích hoạt bởi các hạn chế cố hữu bên dưới các thuật toán ML,” theo Trang dự án ATLAS trên GitHub. “Dữ liệu có thể được vũ khí hóa theo những cách mới, đòi hỏi phải mở rộng cách chúng ta mô hình hóa hành vi của kẻ thù trên mạng, để phản ánh các vectơ mối đe dọa mới nổi và vòng đời tấn công máy học của kẻ thù đang phát triển nhanh chóng.”
Mối đe dọa thực tế đã được ba người sáng lập HiddenLayer - Sestito, Tanner Burns và James Ballard - những người đã làm việc cùng nhau tại Cylance biết rõ. Trước đó, các nhà nghiên cứu tại Skylight Cyber nối thêm mã tốt đã biết — thực ra, một danh sách các chuỗi từ tệp thực thi của trò chơi Rocket League — để đánh lừa công nghệ của Cylance tin rằng 84% phần mềm độc hại thực sự lành tính.
“Chúng tôi đã dẫn đầu nỗ lực cứu trợ sau khi mô hình học máy của chúng tôi bị tấn công trực tiếp thông qua sản phẩm của chúng tôi và nhận ra rằng đây sẽ là một vấn đề lớn đối với bất kỳ tổ chức nào triển khai các mô hình ML trong sản phẩm của họ,” Sestito cho biết trong một tuyên bố thông báo ra mắt HiddenLayer.
Tìm kiếm đối thủ trong thời gian thực
HiddenLayer nhằm mục đích tạo ra một hệ thống có thể giám sát hoạt động của các hệ thống ML và không cần truy cập vào dữ liệu hoặc tính toán, xác định xem phần mềm có bị tấn công hay không bằng một trong các phương pháp đối nghịch đã biết.
“Chúng tôi đang xem xét các tương tác hành vi với các mô hình — đó có thể là địa chỉ IP hoặc điểm cuối,” Sestito nói. “Chúng tôi đang phân tích xem mô hình có đang được sử dụng đúng như mục đích sử dụng hay không hoặc liệu đầu vào và đầu ra có đang được tận dụng hay người yêu cầu đang đưa ra các quyết định entropy rất cao.”
Ông nói, khả năng thực hiện phân tích hành vi trong thời gian thực khiến khả năng phát hiện và phản hồi ML của công ty trở nên khác biệt so với các phương pháp tiếp cận khác. Ngoài ra, công nghệ này không yêu cầu quyền truy cập vào mô hình cụ thể hoặc dữ liệu đào tạo, điều này càng bảo vệ tài sản trí tuệ, HiddenLayer cho biết.
Sestito cho biết cách tiếp cận này cũng có nghĩa là chi phí hoạt động từ tác nhân bảo mật là nhỏ, theo thứ tự 1 hoặc 2 mili giây.
Ông nói: “Chúng tôi đang xem xét các đầu vào sau khi dữ liệu thô đã được véc tơ hóa, vì vậy có rất ít ảnh hưởng đến hiệu suất.
