Các nhà nghiên cứu đã phát hiện khoảng 100 mô hình học máy (ML) đã được tải lên nền tảng trí tuệ nhân tạo (AI) Hugging Face và có khả năng cho phép kẻ tấn công tiêm mã độc vào máy người dùng. Những phát hiện này càng nhấn mạnh thêm mối đe dọa ngày càng tăng ẩn giấu khi những kẻ tấn công đầu độc các mô hình AI có sẵn công khai cho hoạt động bất chính.
Theo JFrog Security Research, việc phát hiện ra các mô hình độc hại là một phần trong nghiên cứu đang diễn ra của công ty về cách kẻ tấn công có thể sử dụng mô hình ML để xâm phạm môi trường người dùng. một bài đăng blog xuất bản trong tuần này.
Cụ thể, JFrog đã phát triển một môi trường quét để xem xét kỹ lưỡng các tệp mô hình được tải lên Hugging Face - kho lưu trữ mô hình AI công cộng, được sử dụng rộng rãi - để phát hiện và vô hiệu hóa các mối đe dọa mới nổi, đặc biệt là từ việc thực thi mã.
Khi chạy công cụ này, các nhà nghiên cứu phát hiện ra rằng các mô hình được tải lên kho lưu trữ đang chứa các tải trọng độc hại. Trong một ví dụ, máy quét đã gắn cờ mô hình PyTorch được người dùng có tên baller423 tải lên kho lưu trữ – một tài khoản đã bị xóa – cho phép kẻ tấn công chèn mã Python tùy ý vào một quy trình khóa. Điều này có khả năng dẫn đến hành vi nguy hiểm khi mô hình được tải lên máy của người dùng.
Phân tích tải trọng ôm mặt
Nhà nghiên cứu bảo mật cấp cao của JFrog, David Cohen, đã viết trong bài đăng: Mặc dù tải trọng thông thường được nhúng trong các mô hình AI do các nhà nghiên cứu tải lên nhằm mục đích chứng minh các lỗ hổng hoặc đưa ra bằng chứng về khái niệm mà không gây hại, nhưng tải trọng do baller423 tải lên lại khác biệt đáng kể.
Nó bắt đầu kết nối shell ngược tới địa chỉ IP thực tế, 210.117.212.93, hành vi “đặc biệt là xâm phạm nhiều hơn và có khả năng độc hại, vì nó thiết lập kết nối trực tiếp đến máy chủ bên ngoài, cho thấy mối đe dọa bảo mật tiềm ẩn chứ không phải chỉ là biểu hiện của lỗ hổng,” ông viết.
JFrog nhận thấy rằng dải địa chỉ IP thuộc về Kreonet, viết tắt của “Mạng mở môi trường nghiên cứu Hàn Quốc”. Kreonet phục vụ như một mạng tốc độ cao ở Hàn Quốc để hỗ trợ các nỗ lực giáo dục và nghiên cứu tiên tiến; do đó, có thể các nhà nghiên cứu hoặc người thực hành AI đã đứng sau mô hình này.
Cohen lưu ý: “Tuy nhiên, một nguyên tắc cơ bản trong nghiên cứu bảo mật là hạn chế xuất bản các mã khai thác hoặc mã độc thực sự đang hoạt động”, một nguyên tắc đã bị vi phạm khi mã độc cố gắng kết nối trở lại địa chỉ IP thực.
Hơn nữa, ngay sau khi mô hình bị xóa, các nhà nghiên cứu đã gặp phải các trường hợp khác có cùng tải trọng với các địa chỉ IP khác nhau, một trong số đó vẫn hoạt động.
Cuộc điều tra sâu hơn về Ôm mặt đã phát hiện ra khoảng 100 mô hình độc hại tiềm ẩn, nêu bật tác động rộng lớn hơn của trò chơi. mối đe dọa bảo mật tổng thể từ các mô hình AI độc hạiCohen viết, điều này đòi hỏi sự cảnh giác thường xuyên và bảo mật chủ động hơn.
Các mô hình AI độc hại hoạt động như thế nào
Để hiểu cách kẻ tấn công có thể vũ khí hóa các mô hình Hugging Face ML đòi hỏi phải hiểu cách hoạt động của mô hình PyTorch độc hại giống như mô hình được baller423 tải lên trong bối cảnh Phát triển Python và AI.
Việc thực thi mã có thể xảy ra khi tải một số loại mô hình ML nhất định - ví dụ: một mô hình sử dụng định dạng được gọi là định dạng "pickle", một định dạng phổ biến để tuần tự hóa các đối tượng Python. Đó là bởi vì các tệp dưa chua cũng có thể chứa mã tùy ý được thực thi khi tệp được tải, theo JFrog.
Tải các mô hình PyTorch bằng máy biến áp, một cách tiếp cận phổ biến của các nhà phát triển, liên quan đến việc sử dụng hàm torch.load(), chức năng này sẽ giải tuần tự hóa mô hình từ một tệp. Theo JFrog, đặc biệt khi xử lý các mô hình PyTorch được đào tạo bằng thư viện Transformers của Hugging Face, các nhà phát triển thường sử dụng phương pháp này để tải mô hình cùng với kiến trúc, trọng lượng và mọi cấu hình liên quan của nó.
Cohen nhận xét, Transformers cung cấp một khuôn khổ toàn diện cho các tác vụ xử lý ngôn ngữ tự nhiên, tạo điều kiện thuận lợi cho việc tạo và triển khai các mô hình phức tạp.
“Có vẻ như tải trọng độc hại đã được đưa vào tệp mô hình PyTorch bằng phương pháp __reduce__ của mô-đun dưa chua,” ông viết. “Phương pháp này cho phép kẻ tấn công chèn mã Python tùy ý vào quá trình giải tuần tự hóa, có khả năng dẫn đến hành vi nguy hiểm khi mô hình được tải.”
Mặc dù Ôm Mặt có một số biện pháp bảo vệ tích hợp chất lượng — bao gồm quét phần mềm độc hại, quét dưa chua và quét bí mật — nhưng nó không chặn hoàn toàn hoặc hạn chế tải xuống các mô hình dưa chua. Thay vào đó, nó chỉ đánh dấu chúng là “không an toàn”, nghĩa là ai đó vẫn có thể tải xuống và thực thi các mô hình có khả năng gây hại.
Hơn nữa, điều quan trọng cần lưu ý là không chỉ các mô hình dựa trên dưa chua mới dễ bị thực thi mã độc. Ví dụ: loại mô hình phổ biến thứ hai trên Hugging Face là Tensorflow Keras, loại mô hình này cũng có thể thực thi mã tùy ý, mặc dù theo JFrog, kẻ tấn công không dễ dàng khai thác phương pháp này.
Giảm thiểu rủi ro từ các mô hình AI bị nhiễm độc
Đây không phải là lần đầu tiên các nhà nghiên cứu phát hiện ra rủi ro bảo mật AI trong Ôm mặt, một nền tảng nơi cộng đồng ML cộng tác trên các mô hình, bộ dữ liệu và ứng dụng. Các nhà nghiên cứu tại công ty khởi nghiệp bảo mật AI Lasso Security trước đây cho biết họ có thể truy cập vào kho lưu trữ mô hình ngôn ngữ lớn (LLM) của Meta's Bloom, Meta-Llama và Pythia bằng cách sử dụng Mã thông báo truy cập API không bảo mật mà họ đã phát hiện trên GitHub và Mặt ôm nền tảng cho các nhà phát triển LLM.
Quyền truy cập sẽ cho phép kẻ thù âm thầm đầu độc dữ liệu huấn luyện trong các LLM được sử dụng rộng rãi này, đánh cắp các mô hình và tập dữ liệu, đồng thời có khả năng thực hiện các hoạt động độc hại khác.
Thật vậy, sự tồn tại ngày càng tăng của các tài liệu công khai và do đó các mô hình AI/ML độc hại tiềm ẩn Theo JFrog, gây ra rủi ro lớn cho chuỗi cung ứng, đặc biệt đối với các cuộc tấn công nhắm mục tiêu cụ thể vào nhân khẩu học như kỹ sư AI/ML và máy sản xuất đường ống.
Để giảm thiểu rủi ro này, các nhà phát triển AI nên sử dụng các công cụ mới có sẵn cho họ như Thợ sănCohen viết, một nền tảng thưởng lỗi được thiết kế đặc biệt cho các lỗ hổng AI nhằm nâng cao tình trạng bảo mật của các mô hình và nền tảng AI.
Ông viết: “Nỗ lực tập thể này là bắt buộc trong việc củng cố các kho lưu trữ Hugging Face cũng như bảo vệ quyền riêng tư và tính toàn vẹn của các kỹ sư và tổ chức AI/ML dựa vào các tài nguyên này”.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- : có
- :là
- :không phải
- :Ở đâu
- 100
- 210
- 212
- 7
- a
- Có khả năng
- Giới thiệu
- truy cập
- Theo
- Tài khoản
- hoạt động
- hoạt động
- hoạt động
- thực tế
- địa chỉ
- địa chỉ
- tiên tiến
- Sau
- AI
- Mô hình AI
- Nền tảng AI
- AI / ML
- nhằm mục đích
- cho phép
- dọc theo
- Ngoài ra
- an
- phân tích
- và
- bất kì
- api
- Truy cập API
- xuất hiện
- các ứng dụng
- phương pháp tiếp cận
- tùy ý
- kiến trúc
- LÀ
- nhân tạo
- trí tuệ nhân tạo
- Trí tuệ nhân tạo (AI)
- AS
- liên kết
- At
- Các cuộc tấn công
- đã cố gắng
- có sẵn
- trở lại
- bởi vì
- được
- hành vi
- sau
- được
- thuộc
- Chặn
- Blog
- Hoa
- được xây dựng trong
- by
- gọi là
- CAN
- gây ra
- nhất định
- chuỗi
- mã
- Cohen
- hợp tác
- Tập thể
- COM
- Chung
- cộng đồng
- toàn diện
- thỏa hiệp
- Kết nối
- liên quan
- không thay đổi
- chứa
- bối cảnh
- có thể
- tạo
- dữ liệu
- bộ dữ liệu
- David
- xử lý
- nhu cầu
- Nhân khẩu học
- chứng minh
- triển khai
- phát hiện
- phát triển
- trực tiếp
- phát hiện
- phát hiện
- doesn
- tải về
- dễ dàng
- Tư vấn Giáo dục
- nỗ lực
- nhúng
- mới nổi
- cho phép
- cho phép
- nỗ lực
- Kỹ sư
- nâng cao
- Môi trường
- môi trường
- thành lập
- Ngay cả
- ví dụ
- thi hành
- Thực thi
- thi hành
- thực hiện
- sự tồn tại
- Khai thác
- khai thác
- ngoài
- Đối mặt
- tạo điều kiện
- Tập tin
- Các tập tin
- phát hiện
- Công ty
- Tên
- lần đầu tiên
- được gắn cờ
- Trong
- định dạng
- tìm thấy
- Khung
- từ
- chức năng
- cơ bản
- xa hơn
- GitHub
- Phát triển
- xảy ra
- làm hại
- có hại
- Có
- he
- làm nổi bật
- Độ đáng tin của
- Tuy nhiên
- HTTPS
- Va chạm
- bắt buộc
- quan trọng
- in
- Bao gồm
- chỉ ra
- khởi xướng
- chích
- ví dụ
- thay vì
- tính toàn vẹn
- Sự thông minh
- trong
- intrusively
- điều tra
- liên quan đến
- IP
- Địa chỉ IP
- Địa chỉ IP
- isn
- IT
- ITS
- jpg
- chỉ
- máy ảnh
- Key
- korea
- Ngôn ngữ
- lớn
- dẫn
- hàng đầu
- học tập
- Thư viện
- Lượt thích
- LLM
- tải
- tải
- máy
- học máy
- Máy móc
- chính
- độc hại
- phần mềm độc hại
- Có thể..
- có nghĩa
- bộ ba
- Siêu dữ liệu
- phương pháp
- Giảm nhẹ
- giảm nhẹ
- ML
- kiểu mẫu
- mô hình
- Mô-đun
- chi tiết
- Được đặt theo tên
- Tự nhiên
- Xử lý ngôn ngữ tự nhiên
- mạng
- Mới
- đáng chú ý
- ghi
- lưu ý
- con số
- đối tượng
- of
- thường
- on
- ONE
- đang diễn ra
- trên
- mở
- mở mạng
- or
- tổ chức
- Nền tảng khác
- ngay
- một phần
- đặc biệt
- đường ống dẫn
- nền tảng
- Nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- chất độc
- đặt ra
- có thể
- Bài đăng
- tiềm năng
- có khả năng
- thịnh hành
- trước đây
- nguyên tắc
- riêng tư
- Chủ động
- quá trình
- xử lý
- cho
- công khai
- công khai
- công bố
- Xuất bản
- Python
- ngọn đuốc
- chất lượng
- phạm vi
- hơn
- thực
- dựa vào
- vẫn còn
- Đã loại bỏ
- kho
- đòi hỏi
- nghiên cứu
- nhà nghiên cứu
- nhà nghiên cứu
- Thông tin
- hạn chế
- đảo ngược
- câu đố
- Nguy cơ
- chạy
- s
- bảo vệ
- Nói
- tương tự
- quét
- bí mật
- an ninh
- khởi động bảo mật
- cao cấp
- máy chủ
- phục vụ
- bộ
- Shell
- Một thời gian ngắn
- nên
- giới thiệu
- đáng kể
- kể từ khi
- một số
- Một người nào đó
- tinh vi
- miền Nam
- Hàn Quốc
- đặc biệt
- Được tài trợ
- đứng
- khởi động
- Vẫn còn
- như vậy
- cung cấp
- chuỗi cung ứng
- hỗ trợ
- apt
- phù hợp
- Mục tiêu
- nhiệm vụ
- tensorflow
- hơn
- việc này
- Sản phẩm
- Them
- sau đó
- vì thế
- Kia là
- họ
- điều này
- tuần này
- Tuy nhiên?
- mối đe dọa
- các mối đe dọa
- Như vậy
- thời gian
- đến
- Tokens
- công cụ
- công cụ
- ngọn đuốc
- đào tạo
- Hội thảo
- máy biến áp
- kiểu
- loại
- thường
- để hở
- nhấn mạnh
- hiểu
- sự hiểu biết
- tải lên
- sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- sử dụng
- thay đổi
- cảnh giác
- Lỗ hổng
- dễ bị tổn thương
- là
- tuần
- là
- Điều gì
- khi nào
- cái nào
- rộng rãi
- rộng hơn
- với
- ở trong
- không có
- Công việc
- đang làm việc
- công trinh
- sẽ
- đã viết
- zephyrnet