Boffins đã tìm cách cạy mở các dịch vụ AI đã đóng từ OpenAI và Google bằng một cuộc tấn công nhằm khôi phục một phần bị ẩn của các mô hình máy biến áp.
Cuộc tấn công làm sáng tỏ một phần loại mô hình “hộp đen” cụ thể, tiết lộ lớp chiếu nhúng của mô hình máy biến áp thông qua các truy vấn API. Chi phí để thực hiện việc này dao động từ vài đô la đến vài nghìn đô la, tùy thuộc vào quy mô của mô hình bị tấn công và số lượng truy vấn.
Không dưới 13 nhà khoa học máy tính từ Google DeepMind, ETH Zurich, Đại học Washington, OpenAI và Đại học McGill đã viết bài một tờ giấy mô tả cuộc tấn công, được xây dựng dựa trên kỹ thuật tấn công trích xuất mô hình đề xuất 2016.
Các nhà nghiên cứu nêu rõ trong bài báo của họ: “Với giá dưới 20 USD, cuộc tấn công của chúng tôi trích xuất toàn bộ ma trận chiếu của các mô hình ngôn ngữ ada và babbage của OpenAI”. “Do đó, lần đầu tiên chúng tôi xác nhận rằng các mẫu hộp đen này có kích thước ẩn lần lượt là 1024 và 2048. Chúng tôi cũng khôi phục kích thước kích thước ẩn chính xác của mô hình gpt-3.5-turbo và ước tính sẽ tốn dưới 2,000 USD cho các truy vấn để khôi phục toàn bộ ma trận chiếu.”
Các nhà nghiên cứu đã tiết lộ phát hiện của họ cho OpenAI và Google, cả hai đều được cho là đã triển khai các biện pháp phòng vệ để giảm thiểu cuộc tấn công. Họ quyết định không công bố kích thước của hai mẫu OpenAI gpt-3.5-turbo vẫn đang được sử dụng. Cả mô hình ada và babbage đều không được dùng nữa nên việc tiết lộ kích thước tương ứng của chúng được coi là vô hại.
Mặc dù cuộc tấn công không làm lộ hoàn toàn mô hình nhưng các nhà nghiên cứu nói rằng nó có thể tiết lộ kết quả cuối cùng của mô hình. ma trận trọng lượng – hoặc chiều rộng của nó, thường liên quan đến số lượng tham số – và cung cấp thông tin về khả năng của mô hình có thể cung cấp thông tin cho việc thăm dò thêm. Họ giải thích rằng việc có thể lấy được bất kỳ thông số nào từ một mô hình sản xuất là điều đáng ngạc nhiên và không mong muốn, bởi vì kỹ thuật tấn công có thể được mở rộng để khôi phục nhiều thông tin hơn nữa.
Edouard Harris, CTO tại Gladstone AI, giải thích trong một email tới: “Nếu bạn có trọng lượng thì bạn chỉ cần có mô hình đầy đủ”. Đăng ký. “Những gì Google [và cộng sự] đã làm là xây dựng lại một số tham số của mô hình đầy đủ bằng cách truy vấn nó, giống như cách người dùng làm. Họ đã chỉ ra rằng bạn có thể tái tạo lại các khía cạnh quan trọng của mô hình mà không cần truy cập vào các trọng số.”
Việc truy cập đủ thông tin về một mô hình độc quyền có thể cho phép ai đó sao chép nó – một kịch bản mà Gladstone AI đã xem xét trong báo cáo do Bộ Ngoại giao Hoa Kỳ ủy quyền với tiêu đề “Phòng thủ theo chiều sâu: Kế hoạch hành động nhằm tăng cường sự an toàn và bảo mật của AI tiên tiến”.
Bản báo cáo, phát hành ngày hôm qua, đưa ra phân tích và đề xuất về cách chính phủ nên khai thác AI và đề phòng những cách mà nó gây ra mối đe dọa tiềm tàng đối với an ninh quốc gia.
Một trong những khuyến nghị của báo cáo là “chính phủ Hoa Kỳ khẩn trương khám phá các phương pháp tiếp cận để hạn chế việc phát hành hoặc bán truy cập mở các mô hình AI tiên tiến vượt quá ngưỡng chính về khả năng hoặc tổng số điện toán đào tạo”. Điều đó bao gồm “[ban hành] các biện pháp bảo mật đầy đủ để bảo vệ IP quan trọng bao gồm cả trọng lượng mô hình.”
Khi được hỏi về các đề xuất của báo cáo Gladstone dựa trên những phát hiện của Google, Harris trả lời: “Về cơ bản, để thực hiện các cuộc tấn công như thế này, bạn cần - ít nhất là bây giờ - thực hiện các truy vấn theo các mẫu mà công ty đang phục vụ mô hình có thể phát hiện được. , đó là OpenAI trong trường hợp GPT-4. Chúng tôi khuyên bạn nên theo dõi các kiểu sử dụng ở mức độ cao, việc này cần được thực hiện theo cách bảo vệ quyền riêng tư để xác định các nỗ lực tái tạo lại các tham số mô hình bằng các phương pháp này.”
“Tất nhiên, kiểu phòng thủ đầu tiên này cũng có thể trở nên không thực tế và chúng ta có thể cần phát triển các biện pháp đối phó phức tạp hơn (ví dụ: ngẫu nhiên hóa một chút mô hình nào phục vụ phản hồi nào tại bất kỳ thời điểm nào hoặc các phương pháp tiếp cận khác). Tuy nhiên, chúng tôi không đi sâu vào mức độ chi tiết đó trong kế hoạch.” ®
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://go.theregister.com/feed/www.theregister.com/2024/03/13/researchers_pry_open_closed_models/
- :là
- :không phải
- 000
- 13
- 2016
- 7
- a
- Có khả năng
- Giới thiệu
- ở trên
- truy cập
- Hoạt động
- ADA
- đầy đủ
- tiên tiến
- chống lại
- AI
- Mô hình AI
- Dịch vụ AI
- AL
- Tất cả
- cho phép
- Ngoài ra
- an
- phân tích
- và
- bất kì
- api
- cách tiếp cận
- LÀ
- AS
- các khía cạnh
- At
- tấn công
- Các cuộc tấn công
- Nỗ lực
- bắp cải
- Về cơ bản
- BE
- bởi vì
- trở nên
- được
- Đen
- cả hai
- Hộp
- xây dựng
- by
- CAN
- khả năng
- khả năng
- trường hợp
- chọn
- đóng cửa
- CO
- công ty
- hoàn toàn
- Tính
- máy tính
- Xác nhận
- xem xét
- Phí Tổn
- có thể
- tính
- Khóa học
- quan trọng
- CTO
- coi
- Deepmind
- Phòng thủ
- phòng thủ
- bộ
- Tùy
- phản đối
- chiều sâu
- miêu tả
- chi tiết
- phát triển
- ĐÃ LÀM
- kích thước
- Tiết lộ
- do
- làm
- đô la
- don
- thực hiện
- e
- E&T
- nhúng
- đủ
- Toàn bộ
- ước tính
- ETH
- Ngay cả
- chính xác
- thi hành
- Giải thích
- Giải thích
- khám phá
- khai thác
- Chất chiết xuất
- vài
- cuối cùng
- phát hiện
- Tên
- lần đầu tiên
- Trong
- từ
- Full
- xa hơn
- được
- được
- Chính phủ
- Lực lượng Cảnh sát
- khai thác
- Có
- có
- Thành viên ẩn danh
- Cao
- Độ đáng tin của
- Tuy nhiên
- HTML
- HTTPS
- xác định
- if
- thực hiện
- quan trọng
- không thực tế, không ứng dụng được
- in
- bao gồm
- Bao gồm
- Tăng lên
- báo
- thông tin
- trong
- IP
- IT
- ITS
- chính nó
- jimmy
- jpg
- chỉ
- Key
- Loại
- Ngôn ngữ
- lớp
- ít nhất
- ít
- Cấp
- ánh sáng
- Lượt thích
- quản lý
- Matrix
- Có thể..
- các biện pháp
- Might
- Giảm nhẹ
- kiểu mẫu
- mô hình
- chi tiết
- quốc dân
- An ninh quốc gia
- Cần
- tại
- con số
- được
- of
- thường
- mở
- OpenAI
- or
- gọi món
- Nền tảng khác
- nếu không thì
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- Giấy
- tham số
- thông số
- riêng
- mô hình
- kế hoạch
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- phần
- đặt ra
- tiềm năng
- Sản lượng
- Chiếu
- độc quyền
- bảo vệ
- cung cấp
- xuất bản
- truy vấn
- các dãy
- giới thiệu
- khuyến nghị
- Phục hồi
- Phục hồi
- liên quan
- phát hành
- báo cáo
- nhà nghiên cứu
- mà
- tương ứng
- phản ứng
- hạn chế
- tiết lộ
- để lộ
- s
- Sự An Toàn
- An toàn và an ninh
- Nói
- bán
- nói
- kịch bản
- các nhà khoa học
- an ninh
- Các biện pháp an ninh
- phục vụ
- DỊCH VỤ
- phục vụ
- một số
- nên
- hiển thị
- Kích thước máy
- kích thước
- So
- một số
- Một người nào đó
- tinh vi
- Tiểu bang
- Vẫn còn
- thật ngạc nhiên
- kỹ thuật
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- sau đó
- bằng cách ấy
- Kia là
- họ
- điều này
- nghìn
- mối đe dọa
- Thông qua
- thời gian
- có tiêu đề
- đến
- Tổng số:
- Theo dõi
- Hội thảo
- biến áp
- hai
- kiểu
- Dưới
- trường đại học
- trên
- us
- Bộ Ngoại giao Hoa Kỳ
- chính phủ Mỹ
- Sử dụng
- Đô la Mỹ
- sử dụng
- người sử dang
- sử dụng
- là
- Washington
- Đường..
- cách
- we
- TỐT
- là
- Điều gì
- cái nào
- chiều rộng
- với
- không có
- sẽ
- Bạn
- zephyrnet
- Zurich