Các mô hình AI, chủ đề đang gây lo ngại về an toàn liên tục về kết quả đầu ra có hại và sai lệch, gây ra rủi ro ngoài việc phát tán nội dung. Khi được kết hợp với các công cụ cho phép tương tác tự động với các hệ thống khác, chúng có thể tự hoạt động như những tác nhân độc hại.
Các nhà khoa học máy tính liên kết với Đại học Illinois Urbana-Champaign (UIUC) đã chứng minh điều này bằng cách trang bị một số mô hình ngôn ngữ lớn (LLM) để tấn công các trang web dễ bị tấn công mà không có sự hướng dẫn của con người. Nghiên cứu trước đây cho thấy LLM có thể được sử dụng, bất chấp các biện pháp kiểm soát an toàn, để hỗ trợ [PDF] với việc tạo ra phần mềm độc hại.
Các nhà nghiên cứu Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan và Daniel Kang đã tiến một bước xa hơn và chỉ ra rằng các tác nhân được hỗ trợ bởi LLM – LLM được cung cấp các công cụ để truy cập API, duyệt web tự động và lập kế hoạch dựa trên phản hồi – có thể lang thang trên web tự mình và đột nhập vào các ứng dụng web có lỗi mà không có sự giám sát.
Họ mô tả những phát hiện của họ trong một tờ giấy có tiêu đề “Đại lý LLM có thể tự động hack các trang web”.
Các học giả UIUC giải thích trong bài báo của họ: “Trong nghiên cứu này, chúng tôi cho thấy rằng các đặc vụ LLM có thể tự động hack các trang web, thực hiện các nhiệm vụ phức tạp mà không cần biết trước về lỗ hổng bảo mật”.
“Ví dụ: các tác nhân này có thể thực hiện các cuộc tấn công liên kết SQL phức tạp, bao gồm quy trình gồm nhiều bước (38 hành động) để trích xuất lược đồ cơ sở dữ liệu, trích xuất thông tin từ cơ sở dữ liệu dựa trên lược đồ này và thực hiện lần hack cuối cùng.”
Trong một cuộc phỏng vấn với Đăng kýDaniel Kang, trợ lý giáo sư tại UIUC, nhấn mạnh rằng ông và các đồng tác giả không thực sự thả lỏng các tác nhân LLM độc hại của họ trên thế giới. Ông cho biết, các thử nghiệm được thực hiện trên các trang web thực trong môi trường hộp cát để đảm bảo không có tác hại nào và không có thông tin cá nhân nào bị xâm phạm.
Những gì chúng tôi nhận thấy là GPT-4 có khả năng cao thực hiện những nhiệm vụ này. Mọi mô hình nguồn mở đều thất bại và GPT-3.5 chỉ nhỉnh hơn một chút so với các mô hình nguồn mở
Kang cho biết: “Chúng tôi đã sử dụng ba công cụ chính. “Chúng tôi đã sử dụng API hỗ trợ OpenAI, LangChain, và Nhà soạn kịch khung kiểm tra trình duyệt.
“API Trợ lý OpenAI về cơ bản được sử dụng để có ngữ cảnh, thực hiện chức năng gọi hàm và nhiều tác vụ khác như truy xuất tài liệu thực sự quan trọng để đạt được hiệu suất cao. LandChain về cơ bản được sử dụng để gói gọn tất cả. Và khung kiểm tra trình duyệt web Playwright đã được sử dụng để thực sự tương tác với các trang web.”
Các nhà nghiên cứu đã tạo ra các tác nhân sử dụng 10 LLM khác nhau: GPT-4, GPT-3.5, OpenHermes-2.5-Mistral-7B, LLaMA-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral -8x7B Hướng dẫn, Mistral (7B) Hướng dẫn v0.2, Nous Hermes-2 Yi (34B) và OpenChat 3.5.
Hai mẫu đầu tiên, GPT-4 và GPT-3.5, là các mẫu độc quyền do OpenAI vận hành trong khi 4 mẫu còn lại là nguồn mở. Mô hình Gemini của Google, được cho là có khả năng ít nhất tương đương với GPT-XNUMX trong lần lặp lại mới nhất của nó, không có sẵn vào thời điểm đó.
Các nhà nghiên cứu đã nhờ các đại lý LLM của họ thăm dò các trang web kiểm tra 15 lỗ hổng, bao gồm cả việc chèn SQL, tạo tập lệnh chéo trang và giả mạo yêu cầu giữa các trang, cùng nhiều lỗ hổng khác. Các mô hình nguồn mở được thử nghiệm đều thất bại.
Nhưng GPT-4 của OpenAI có tỷ lệ thành công chung là 73.3% với 42.7 lần vượt qua và 3.5% với 6.7 lần vượt qua. Ứng cử viên ở vị trí thứ hai, GPT-2.7 của OpenAI, đạt tỷ lệ thành công chỉ XNUMX% với XNUMX lần vượt qua và XNUMX% với một lần vượt qua.
Kang nói: “Đó là một trong những điều chúng tôi thấy rất ngạc nhiên. “Vì vậy, tùy thuộc vào người bạn nói chuyện, điều này có thể được gọi là quy luật mở rộng hoặc khả năng phát sinh. Những gì chúng tôi nhận thấy là GPT-4 có khả năng cao thực hiện những nhiệm vụ này. Mọi mô hình nguồn mở đều thất bại và GPT-3.5 chỉ tốt hơn một chút so với các mô hình nguồn mở.”
Một lời giải thích được trích dẫn trong bài báo là GPT-4 có khả năng thay đổi hành động của mình dựa trên phản hồi mà nó nhận được từ trang web mục tiêu tốt hơn so với các mô hình nguồn mở.
Kang cho biết thật khó để chắc chắn tại sao lại như vậy. “Nói một cách định tính, chúng tôi nhận thấy rằng các mô hình nguồn mở gần như không thực hiện tốt chức năng gọi như các mô hình OpenAI.”
Ông cũng trích dẫn sự cần thiết phải xử lý các bối cảnh lớn (lời nhắc). “GPT-4 cần thực hiện tới 50 hành động, nếu bạn bao gồm cả thao tác quay lui, để thực hiện một số vụ hack này và điều này đòi hỏi nhiều bối cảnh để thực sự thực hiện,” anh giải thích. “Chúng tôi nhận thấy rằng các mô hình nguồn mở gần như không tốt bằng GPT-4 trong bối cảnh dài.”
Quay lui đề cập đến việc yêu cầu một mô hình trở lại trạng thái trước đó để thử cách tiếp cận khác khi gặp lỗi.
Các nhà nghiên cứu đã tiến hành phân tích chi phí tấn công các trang web bằng tác nhân LLM và nhận thấy tác nhân phần mềm có giá cả phải chăng hơn nhiều so với việc thuê một người kiểm tra thâm nhập.
“Để ước tính chi phí của GPT-4, chúng tôi đã thực hiện năm lần chạy bằng cách sử dụng tác nhân có khả năng nhất (đọc tài liệu và lời nhắc chi tiết) và đo tổng chi phí của mã thông báo đầu vào và đầu ra,” bài báo cho biết. “Trong 5 lần chạy này, chi phí trung bình là 4.189 USD. Với tỷ lệ thành công chung là 42.7%, tổng số tiền này sẽ là 9.81 USD cho mỗi trang web.”
Giả sử rằng một nhà phân tích bảo mật con người được trả 100,000 đô la hàng năm hoặc 50 đô la một giờ, sẽ mất khoảng 20 phút để kiểm tra trang web theo cách thủ công, các nhà nghiên cứu cho biết một người thử bút trực tiếp sẽ có giá khoảng 80 đô la hoặc gấp XNUMX lần chi phí của một nhân viên LLM. Kang nói rằng mặc dù những con số này mang tính suy đoán cao nhưng ông hy vọng LLM sẽ được đưa vào chế độ thử nghiệm thâm nhập trong những năm tới.
Khi được hỏi liệu chi phí có phải là yếu tố hạn chế để ngăn chặn việc sử dụng rộng rãi các tác nhân LLM cho các cuộc tấn công tự động hay không, Kang nói rằng điều đó ngày nay có thể đúng phần nào nhưng ông hy vọng chi phí sẽ giảm.
Kang nói rằng mặc dù những lo ngại về an toàn truyền thống liên quan đến dữ liệu đào tạo và đầu ra mô hình sai lệch và có hại rõ ràng là rất quan trọng, nhưng rủi ro sẽ tăng lên khi LLM được chuyển thành đại lý.
Các đại lý là điều thực sự khiến tôi sợ hãi về những lo ngại về an toàn trong tương lai
Ông nói: “Các đại lý là điều thực sự khiến tôi lo ngại về những lo ngại về an toàn trong tương lai. “Một số lỗ hổng mà chúng tôi đã thử nghiệm, ngày nay bạn thực sự có thể tìm thấy bằng cách sử dụng máy quét tự động. Bạn có thể thấy rằng chúng tồn tại, nhưng bạn không thể tự động khai thác chúng bằng máy quét tự động, ít nhất là theo những gì tôi biết. Bạn không thể thực sự tự chủ tận dụng thông tin đó.
“Điều thực sự khiến tôi lo lắng về các mô hình có khả năng cao trong tương lai là khả năng thực hiện các cuộc tấn công tự động và tự phản ánh để thử nhiều chiến lược khác nhau trên quy mô lớn.”
Khi được hỏi liệu ông có lời khuyên nào dành cho các nhà phát triển, ngành công nghiệp và các nhà hoạch định chính sách hay không. Kang nói: “Điều đầu tiên là hãy suy nghĩ thật kỹ xem những mô hình này có thể được sử dụng vào mục đích gì”. Ông cũng lập luận về việc đảm bảo bến cảng an toàn để cho phép các nhà nghiên cứu bảo mật tiếp tục loại nghiên cứu này, cùng với các thỏa thuận tiết lộ có trách nhiệm.
Ông cho biết, Midjourney đã cấm một số nhà nghiên cứu và nhà báo chỉ ra rằng các mô hình của họ dường như đang sử dụng tài liệu có bản quyền. Anh ấy nói rằng OpenAI đã rất hào phóng khi không cấm tài khoản của anh ấy.
Đăng ký yêu cầu OpenAI bình luận về phát hiện của các nhà nghiên cứu. Một người phát ngôn nói với chúng tôi: “Chúng tôi rất coi trọng sự an toàn của các sản phẩm của mình và liên tục cải thiện các biện pháp an toàn dựa trên cách mọi người sử dụng sản phẩm của chúng tôi”.
“Chúng tôi không muốn các công cụ của mình bị sử dụng cho mục đích xấu và chúng tôi luôn nỗ lực tìm cách làm cho hệ thống của mình trở nên mạnh mẽ hơn trước kiểu lạm dụng này. Chúng tôi cảm ơn các nhà nghiên cứu đã chia sẻ công việc của họ với chúng tôi.”
OpenAI trước đó xem thường Khả năng của GPT-4 trong việc hỗ trợ các cuộc tấn công mạng, cho biết mô hình này “chỉ cung cấp các khả năng gia tăng, hạn chế cho các nhiệm vụ an ninh mạng độc hại ngoài những gì có thể đạt được bằng các công cụ không hỗ trợ AI, có sẵn công khai”. ®
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://go.theregister.com/feed/www.theregister.com/2024/02/17/ai_models_weaponized/
- : có
- :là
- :không phải
- $ LÊN
- 000
- 10
- 15%
- 20
- 50
- 7
- a
- khả năng
- có khả năng
- Có khả năng
- Giới thiệu
- lạm dụng
- học giả
- truy cập
- hoàn thành
- Tài khoản
- có thể đạt được
- ngang qua
- Hành động
- hành động
- thực sự
- tư vấn
- Liên kết
- giá cả phải chăng
- chống lại
- Đại lý
- đại lý
- thỏa thuận
- AI
- Mô hình AI
- Tất cả
- cho phép
- dọc theo
- Đã
- Ngoài ra
- luôn luôn
- trong số
- an
- phân tích
- phân tích
- và
- Hàng năm
- Một
- bất kì
- api
- API
- Xuất hiện
- phương pháp tiếp cận
- ứng dụng
- LÀ
- lập luận
- AS
- Trợ lý
- trợ lý
- At
- Tấn công
- Các cuộc tấn công
- Tự động
- Tự động
- tự trị
- tự chủ
- có sẵn
- Trung bình cộng
- nhận thức
- cấm
- dựa
- Về cơ bản
- BE
- được
- Hơn
- Ngoài
- có thành kiến
- Nghỉ giải lao
- trình duyệt
- Duyệt
- nhưng
- by
- gọi là
- gọi
- CAN
- khả năng
- khả năng
- có khả năng
- cẩn thận
- trường hợp
- nhất định
- thay đổi
- trò chuyện trên mạng
- kiểm tra
- trích dẫn
- CO
- đến
- bình luận
- phức tạp
- thỏa hiệp
- Thỏa hiệp
- Mối quan tâm
- thực hiện
- nội dung
- bối cảnh
- bối cảnh
- liên tục
- tiếp tục
- điều khiển
- Phí Tổn
- Chi phí
- có thể
- tạo ra
- tạo
- Tấn công mạng
- An ninh mạng
- Daniel
- dữ liệu
- Cơ sở dữ liệu
- chứng minh
- Tùy
- mô tả
- Mặc dù
- chi tiết
- phát triển
- ĐÃ LÀM
- khác nhau
- khó khăn
- công bố thông tin
- do
- tài liệu
- don
- thực hiện
- Sớm hơn
- tám
- phát thải
- nhấn mạnh
- cho phép
- đảm bảo
- Môi trường
- lôi
- ước tính
- Mỗi
- ví dụ
- tồn tại
- mở rộng
- kỳ vọng
- Giải thích
- Giải thích
- giải thích
- Khai thác
- yếu tố
- thất bại
- Rơi
- xa
- cuối cùng
- Tìm kiếm
- phát hiện
- Tên
- năm
- Trong
- sự giả mạo
- tìm thấy
- Khung
- từ
- chức năng
- xa hơn
- tương lai
- cổng
- Gemini
- hào phóng
- được
- tốt
- có
- bảo đảm
- hướng dẫn
- Gupta
- tấn
- hacks
- có
- Hải cảng
- làm hại
- có hại
- Có
- có
- he
- Cao
- cao
- Thuê
- của mình
- giờ
- Độ đáng tin của
- HTTPS
- Nhân loại
- i
- if
- Illinois
- quan trọng
- cải thiện
- in
- bao gồm
- Bao gồm
- Hợp nhất
- gia tăng
- ngành công nghiệp
- thông tin
- đầu vào
- tương tác
- tương tác
- Phỏng vấn
- trong
- liên quan
- IT
- ITS
- Các nhà báo
- jpg
- chỉ
- Loại
- kiến thức
- Ngôn ngữ
- lớn
- mới nhất
- Luật
- ít nhất
- cho phép
- Tỉ lệ đòn bẩy
- Lượt thích
- Hạn chế
- sống
- LLM
- dài
- Rất nhiều
- chính
- làm cho
- Các nhà sản xuất
- độc hại
- phần mềm độc hại
- thủ công
- nhiều
- vật liệu
- Có thể..
- me
- các biện pháp
- Might
- Phút
- kiểu mẫu
- mô hình
- chi tiết
- hầu hết
- nhiều
- gần
- Cần
- nhu cầu
- Không
- số
- of
- Cung cấp
- on
- ONE
- đang diễn ra
- có thể
- mở
- mã nguồn mở
- OpenAI
- vận hành
- or
- Nền tảng khác
- Khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- đầu ra
- tổng thể
- Giám sát
- riêng
- thanh toán
- Giấy
- vượt qua
- vượt qua
- thâm nhập
- người
- mỗi
- phần trăm
- Thực hiện
- hiệu suất
- thực hiện
- biểu diễn
- riêng
- Nơi
- lập kế hoạch
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- điều luật
- Các nhà hoạch định chính sách
- đặt ra
- có khả năng
- -
- ngăn chặn
- trước
- Trước khi
- thăm dò
- quá trình
- Sản phẩm
- Giáo sư
- nhắc nhở
- độc quyền
- công khai
- mục đích
- Tỷ lệ
- Reading
- thực
- có thật không
- đề cập
- các chế độ
- liên quan
- còn lại
- yêu cầu
- đòi hỏi
- nghiên cứu
- Nghiên cứu cho thấy
- nhà nghiên cứu
- phản ứng
- chịu trách nhiệm
- thu hồi
- trở lại
- Richard
- Nguy cơ
- mạnh mẽ
- chạy
- s
- an toàn
- Sự An Toàn
- Nói
- nói
- nói
- nói
- Quy mô
- mở rộng quy mô
- các nhà khoa học
- Thứ hai
- an ninh
- nghiêm túc
- một số
- chia sẻ
- hiển thị
- cho thấy
- So
- Phần mềm
- một số
- phần nào
- nguồn
- nói
- đầu cơ
- người phát ngôn
- Tiểu bang
- Bước
- chiến lược
- Tiêu đề
- thành công
- Gợi ý
- thật ngạc nhiên
- hệ thống
- Hãy
- Thảo luận
- Mục tiêu
- nhiệm vụ
- về
- thử nghiệm
- thử nghiệm
- Kiểm tra
- kiểm tra
- hơn
- cảm tạ
- việc này
- Sản phẩm
- thế giới
- cung cấp their dịch
- Them
- Kia là
- họ
- điều
- điều
- nghĩ
- điều này
- số ba
- thời gian
- thời gian
- có tiêu đề
- đến
- bây giờ
- Tokens
- nói với
- công cụ
- Tổng số:
- truyền thống
- Hội thảo
- đúng
- thử
- Quay
- hai
- kiểu
- công đoàn
- trường đại học
- us
- sử dụng
- đã sử dụng
- sử dụng
- rất
- Lỗ hổng
- dễ bị tổn thương
- Dễ bị tổn thương
- muốn
- là
- we
- web
- trình duyệt web
- Website
- trang web
- đi
- là
- Điều gì
- Là gì
- khi nào
- liệu
- cái nào
- trong khi
- CHÚNG TÔI LÀ
- tại sao
- phổ biến rộng rãi
- sẽ
- với
- không có
- Công việc
- đang làm việc
- thế giới
- sẽ
- bọc
- năm
- Bạn
- zephyrnet