Các nhà khoa học đã tạo ra 'OpinionGPT' để khám phá thành kiến ​​rõ ràng của con người — và bạn có thể tự mình kiểm tra nó

Các nhà khoa học đã tạo ra 'OpinionGPT' để khám phá thành kiến ​​rõ ràng của con người — và bạn có thể tự mình kiểm tra nó

Dấu thời gian: 8:2023 PM ngày 4 tháng 42 năm XNUMX

Một nhóm các nhà nghiên cứu từ Humboldt-Universitat zu Berlin đã phát triển một mô hình trí tuệ nhân tạo ngôn ngữ lớn với điểm khác biệt là đã được điều chỉnh có chủ ý để tạo ra kết quả đầu ra có thành kiến ​​rõ ràng.

Được gọi là OpinionGPT, mô hình của nhóm là một biến thể được điều chỉnh của Llama 2 của Meta, một hệ thống AI có khả năng tương tự như ChatGPT của OpenAI hoặc Claude 2 của Anthropic.

Bằng cách sử dụng quy trình được gọi là tinh chỉnh dựa trên hướng dẫn, OpinionGPT có thể tự nhận là phản hồi các lời nhắc như thể đó là đại diện của một trong 11 nhóm thành kiến: Người Mỹ, người Đức, người Mỹ Latinh, người Trung Đông, thanh thiếu niên, người trên 30 tuổi, người lớn tuổi , một người đàn ông, một người phụ nữ, một người theo chủ nghĩa tự do hay một người bảo thủ.

Ý kiếnGPT đã được tinh chỉnh trên kho dữ liệu lấy từ cộng đồng “AskX”, được gọi là subreddits, trên Reddit. Ví dụ về các subreddits này sẽ bao gồm “Hỏi một người phụ nữ” và “Hỏi một người Mỹ”.

Nhóm bắt đầu bằng cách tìm các subreddit liên quan đến 11 thành kiến ​​cụ thể và lấy ra 25 nghìn bài đăng phổ biến nhất từ ​​mỗi thành kiến. Sau đó, họ chỉ giữ lại những bài đăng đáp ứng ngưỡng tối thiểu để được tán thành, không chứa trích dẫn được nhúng và dưới 80 từ.

Với những gì còn lại, có vẻ như họ đã sử dụng một phương pháp tiếp cận tương tự như AI Hiến pháp của Anthropic. Thay vì tạo ra các mô hình hoàn toàn mới để thể hiện từng nhãn thiên vị, về cơ bản, họ đã tinh chỉnh mô hình Llama7 gồm 2 tỷ tham số với các bộ hướng dẫn riêng biệt cho từng độ lệch dự kiến.

Liên quan: Việc sử dụng AI trên mạng xã hội có khả năng tác động đến tâm lý cử tri

Kết quả dựa trên phương pháp luận, kiến ​​trúc và dữ liệu mô tả trong bài nghiên cứu của nhóm người Đức, dường như là một hệ thống AI hoạt động giống như một công cụ tạo khuôn mẫu hơn là một công cụ để nghiên cứu xu hướng trong thế giới thực.

Do tính chất của dữ liệu mà mô hình đã được tinh chỉnh và mối quan hệ không rõ ràng của dữ liệu đó với các nhãn xác định nó, OpinionGPT không nhất thiết xuất ra văn bản phù hợp với bất kỳ sai lệch nào có thể đo lường được trong thế giới thực. Nó chỉ đơn giản là xuất ra văn bản phản ánh sự thiên vị của dữ liệu của nó.

Bản thân các nhà nghiên cứu cũng nhận ra một số hạn chế mà điều này đặt ra trong nghiên cứu của họ, họ viết:

“Ví dụ: phản hồi của “người Mỹ” nên được hiểu rõ hơn là 'Người Mỹ đăng trên Reddit' hoặc thậm chí là 'Người Mỹ đăng trên subreddit cụ thể này'. Tương tự, 'Người Đức' nên được hiểu là 'Người Đức đăng bài trên subreddit cụ thể này', v.v.”

Những cảnh báo này có thể được tinh chỉnh thêm để nói rằng các bài đăng đến từ, chẳng hạn như "những người tự xưng là người Mỹ đăng trên subreddit cụ thể này", vì không có đề cập nào trong bài báo kiểm tra xem liệu những người đăng đằng sau một bài đăng nhất định có thực sự mang tính đại diện hay không. thuộc nhóm nhân khẩu học hoặc thành kiến ​​mà họ tuyên bố là.

Các tác giả tiếp tục tuyên bố rằng họ có ý định khám phá các mô hình phân định sâu hơn về nhân khẩu học (ví dụ: người Đức theo chủ nghĩa tự do, người Đức bảo thủ).

Các kết quả đầu ra do OpinionGPT đưa ra dường như khác nhau giữa việc thể hiện sự thiên vị có thể chứng minh được và sự khác biệt rất lớn so với tiêu chuẩn đã thiết lập, khiến việc phân biệt khả năng tồn tại của nó như một công cụ để đo lường hoặc phát hiện sự thiên vị thực tế trở nên khó khăn.

Các nhà khoa học đã tạo ra 'OpinionGPT' để khám phá thành kiến ​​rõ ràng của con người — và bạn có thể tự mình kiểm tra nó bằng PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.
Nguồn: Ảnh chụp màn hình, Bảng 2: Haller và. cộng sự, 2023

Theo OpinionGPT, chẳng hạn như trong hình trên, người Mỹ Latinh thiên vị bóng rổ là môn thể thao yêu thích của họ.

Tuy nhiên, nghiên cứu thực nghiệm rõ ràng chỉ rằng bóng đá (còn được gọi là bóng đá ở một số quốc gia) và bóng chày là những môn thể thao phổ biến nhất tính theo lượng người xem và sự tham gia trên khắp Châu Mỹ Latinh.

Bảng tương tự cũng cho thấy OpinionGPT coi “bóng nước” là môn thể thao yêu thích của nó khi được hướng dẫn đưa ra “câu trả lời của một thiếu niên”, một câu trả lời có vẻ thống kê. không trở thành đại diện của hầu hết thanh niên 13-19 tuổi trên toàn thế giới.

Điều tương tự cũng xảy ra với ý tưởng rằng món ăn yêu thích của người Mỹ trung bình là “phô mai”. Chúng tôi tìm thấy hàng chục cuộc khảo sát trực tuyến tuyên bố rằng pizza và hamburger là những món ăn yêu thích của người Mỹ, nhưng không thể tìm thấy một cuộc khảo sát hay nghiên cứu nào khẳng định món ăn số một của người Mỹ chỉ đơn giản là phô mai.

Mặc dù OpinionGPT có thể không phù hợp để nghiên cứu thành kiến ​​thực tế của con người, nhưng nó có thể hữu ích như một công cụ để khám phá các khuôn mẫu vốn có trong các kho tài liệu lớn như các subreddits riêng lẻ hoặc bộ đào tạo AI.

Đối với những người tò mò, các nhà nghiên cứu đã đưa ra OpinionGPT có sẵn trực tuyến để thử nghiệm công khai. Tuy nhiên, theo trang web, những người dùng tương lai nên lưu ý rằng “nội dung được tạo có thể sai, không chính xác hoặc thậm chí tục tĩu”.

Dấu thời gian:

Thêm từ Cointelegraph