Các nhà nghiên cứu Jimmy OpenAI và mô hình khép kín của Google

Các nhà nghiên cứu Jimmy OpenAI và mô hình khép kín của Google

Dấu thời gian: Ngày 13 tháng 2024 năm 4 34:XNUMX sáng
Các nhà nghiên cứu của Jimmy OpenAI và các mô hình khép kín PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.

Boffins đã tìm cách cạy mở các dịch vụ AI đã đóng từ OpenAI và Google bằng một cuộc tấn công nhằm khôi phục một phần bị ẩn của các mô hình máy biến áp.

Cuộc tấn công làm sáng tỏ một phần loại mô hình “hộp đen” cụ thể, tiết lộ lớp chiếu nhúng của mô hình máy biến áp thông qua các truy vấn API. Chi phí để thực hiện việc này dao động từ vài đô la đến vài nghìn đô la, tùy thuộc vào quy mô của mô hình bị tấn công và số lượng truy vấn.

Không dưới 13 nhà khoa học máy tính từ Google DeepMind, ETH Zurich, Đại học Washington, OpenAI và Đại học McGill đã viết bài một tờ giấy mô tả cuộc tấn công, được xây dựng dựa trên kỹ thuật tấn công trích xuất mô hình đề xuất 2016.

Các nhà nghiên cứu nêu rõ trong bài báo của họ: “Với giá dưới 20 USD, cuộc tấn công của chúng tôi trích xuất toàn bộ ma trận chiếu của các mô hình ngôn ngữ ada và babbage của OpenAI”. “Do đó, lần đầu tiên chúng tôi xác nhận rằng các mẫu hộp đen này có kích thước ẩn lần lượt là 1024 và 2048. Chúng tôi cũng khôi phục kích thước kích thước ẩn chính xác của mô hình gpt-3.5-turbo và ước tính sẽ tốn dưới 2,000 USD cho các truy vấn để khôi phục toàn bộ ma trận chiếu.”

Các nhà nghiên cứu đã tiết lộ phát hiện của họ cho OpenAI và Google, cả hai đều được cho là đã triển khai các biện pháp phòng vệ để giảm thiểu cuộc tấn công. Họ quyết định không công bố kích thước của hai mẫu OpenAI gpt-3.5-turbo vẫn đang được sử dụng. Cả mô hình ada và babbage đều không được dùng nữa nên việc tiết lộ kích thước tương ứng của chúng được coi là vô hại.

Mặc dù cuộc tấn công không làm lộ hoàn toàn mô hình nhưng các nhà nghiên cứu nói rằng nó có thể tiết lộ kết quả cuối cùng của mô hình. ma trận trọng lượng – hoặc chiều rộng của nó, thường liên quan đến số lượng tham số – và cung cấp thông tin về khả năng của mô hình có thể cung cấp thông tin cho việc thăm dò thêm. Họ giải thích rằng việc có thể lấy được bất kỳ thông số nào từ một mô hình sản xuất là điều đáng ngạc nhiên và không mong muốn, bởi vì kỹ thuật tấn công có thể được mở rộng để khôi phục nhiều thông tin hơn nữa.

Edouard Harris, CTO tại Gladstone AI, giải thích trong một email tới: “Nếu bạn có trọng lượng thì bạn chỉ cần có mô hình đầy đủ”. Đăng ký. “Những gì Google [và cộng sự] đã làm là xây dựng lại một số tham số của mô hình đầy đủ bằng cách truy vấn nó, giống như cách người dùng làm. Họ đã chỉ ra rằng bạn có thể tái tạo lại các khía cạnh quan trọng của mô hình mà không cần truy cập vào các trọng số.”

Việc truy cập đủ thông tin về một mô hình độc quyền có thể cho phép ai đó sao chép nó – một kịch bản mà Gladstone AI đã xem xét trong báo cáo do Bộ Ngoại giao Hoa Kỳ ủy quyền với tiêu đề “Phòng thủ theo chiều sâu: Kế hoạch hành động nhằm tăng cường sự an toàn và bảo mật của AI tiên tiến”.

Bản báo cáo, phát hành ngày hôm qua, đưa ra phân tích và đề xuất về cách chính phủ nên khai thác AI và đề phòng những cách mà nó gây ra mối đe dọa tiềm tàng đối với an ninh quốc gia.

Một trong những khuyến nghị của báo cáo là “chính phủ Hoa Kỳ khẩn trương khám phá các phương pháp tiếp cận để hạn chế việc phát hành hoặc bán truy cập mở các mô hình AI tiên tiến vượt quá ngưỡng chính về khả năng hoặc tổng số điện toán đào tạo”. Điều đó bao gồm “[ban hành] các biện pháp bảo mật đầy đủ để bảo vệ IP quan trọng bao gồm cả trọng lượng mô hình.”

Khi được hỏi về các đề xuất của báo cáo Gladstone dựa trên những phát hiện của Google, Harris trả lời: “Về cơ bản, để thực hiện các cuộc tấn công như thế này, bạn cần - ít nhất là bây giờ - thực hiện các truy vấn theo các mẫu mà công ty đang phục vụ mô hình có thể phát hiện được. , đó là OpenAI trong trường hợp GPT-4. Chúng tôi khuyên bạn nên theo dõi các kiểu sử dụng ở mức độ cao, việc này cần được thực hiện theo cách bảo vệ quyền riêng tư để xác định các nỗ lực tái tạo lại các tham số mô hình bằng các phương pháp này.”

“Tất nhiên, kiểu phòng thủ đầu tiên này cũng có thể trở nên không thực tế và chúng ta có thể cần phát triển các biện pháp đối phó phức tạp hơn (ví dụ: ngẫu nhiên hóa một chút mô hình nào phục vụ phản hồi nào tại bất kỳ thời điểm nào hoặc các phương pháp tiếp cận khác). Tuy nhiên, chúng tôi không đi sâu vào mức độ chi tiết đó trong kế hoạch.” ®

Dấu thời gian:

Thêm từ Đăng ký