A team of researchers from Humboldt-Universitat zu Berlin have developed a large language artificial intelligence model with the distinction of having been intentionally tuned to generate outputs with expressed bias.
Model zespołu, nazwany OpinionGPT, jest dostrojonym wariantem Meta Llama 2, systemu AI o możliwościach podobnych do ChatGPT firmy OpenAI lub Claude 2 firmy Anthropic.
Using a process called instruction-based fine-tuning, OpinionGPT can purportedly respond to prompts as if it were a representative of one of 11 bias groups: American, German, Latin American, Middle Eastern, a teenager, someone over 30, an older person, a man, a woman, a liberal, or a conservative.
Ogłaszamy „Opinię GPT: bardzo stronniczy model GPT”! Wypróbuj tutaj: https://t.co/5YJjHlcV4n
Aby zbadać wpływ błędu systematycznego na odpowiedzi modeli, zadaliśmy proste pytanie: co by było, gdybyśmy dostroili a #GPT model wyłącznie z tekstami pisanymi przez osoby o poglądach politycznie prawicowych?[1 / 3]
— Alan Akbik (@alan_akbik) 8 września 2023 r.
OpinionGPT was refined on a corpus of data derived from “AskX” communities, called subreddits, on Reddit. Examples of these subreddits would include “Ask a Woman” and “Ask an American.”
The team started by finding subreddits related to the 11 specific biases and pulling the 25-thousand most popular posts from each one. They then retained only those posts that met a minimum threshold for upvotes, did not contain an embedded quote, and were under 80 words.
With what was left, it appears as though they used an podejście podobny do konstytucyjnej sztucznej inteligencji Anthropic. Zamiast tworzyć zupełnie nowe modele reprezentujące każdą etykietę odchylenia, zasadniczo dostrojono pojedynczy model Llama7 o 2 miliardach parametrów z oddzielnymi zestawami instrukcji dla każdego oczekiwanego odchylenia.
The result, based upon the methodology, architecture, and data opisane in the German team’s research paper, appears to be an AI system that functions as more of a stereotype generator than a tool for studying real world bias.
Due to the nature of the data the model has been refined on, and that data’s dubious relation to the labels defining it, OpinionGPT doesn’t necessarily output text that aligns with any measurable real-world bias. It simply outputs text reflecting the bias of its data.
Sami badacze zdają sobie sprawę z niektórych ograniczeń, jakie nakłada to na ich badania, pisząc:
“For instance, the responses by “Americans” should be better understood as ‘Americans that post on Reddit,’ or even ‘Americans that post on this particular subreddit.’ Similarly, ‘Germans’ should be understood as ‘Germans that post on this particular subreddit,’ etc.”
Zastrzeżenia te można dodatkowo uszczegółowić, stwierdzając, że posty pochodzą na przykład od „osób podających się za Amerykanów, które publikują posty na tym konkretnym subreddicie”, ponieważ w dokumencie dotyczącym weryfikacji nie ma wzmianki o tym, czy plakaty umieszczone za danym postem są w rzeczywistości reprezentatywne grupy demograficznej lub uprzedzeń, za którą się podają.
The authors go on to state that they intend to explore models that further delineate demographics (ie: liberal German, conservative German).
Wyniki uzyskane w ramach OpinionGPT wydają się różnić od przedstawiania dającej się wykazać stronniczości do skrajnie odbiegających od ustalonej normy, co utrudnia rozpoznanie jego przydatności jako narzędzia do pomiaru lub odkrywania rzeczywistej stronniczości.
According to OpinionGPT, as shown in the above image, for example, Latin Americans are biased towards basketball being their favorite sport.
Badania empiryczne jednak wyraźnie wskazuje that football (also called soccer in some countries) and baseball are the most popular sports by viewership and participation throughout Latin America.
Z tej samej tabeli wynika również, że w OpinionGPT jako swój ulubiony sport podaje się „piłkę wodną”, gdy polecono mu udzielić „odpowiedzi nastolatka”, która wydaje się statystycznie mało prawdopodobne, to be representative of most 13-19 year olds around the world.
The same goes for the idea that an average American’s favorite food is “cheese.” We found dozens of surveys online claiming that pizza and hamburgers were America’s favorite foods, but couldn’t find a single survey or study that claimed Americans’ number one dish was simply cheese.
Chociaż OpinionGPT może nie nadawać się dobrze do badania rzeczywistych ludzkich uprzedzeń, może być przydatny jako narzędzie do badania stereotypów nieodłącznie związanych z dużymi repozytoriami dokumentów, takimi jak indywidualne subreddity lub zestawy szkoleniowe AI.
For those who are curious, the researchers have made OpinionGPT dostępny online do publicznych testów. Jednak według witryny potencjalni użytkownicy powinni mieć świadomość, że „generowane treści mogą być fałszywe, niedokładne, a nawet nieprzyzwoite”.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- ChartPrime. Podnieś poziom swojej gry handlowej dzięki ChartPrime. Dostęp tutaj.
- Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
- Źródło: https://cointelegraph.com/news/scientists-created-artificial-intelligence-opinion-gpt-explicit-human-bias-test
- :ma
- :Jest
- :nie
- $W GÓRĘ
- 11
- 30
- 7
- 8
- 80
- a
- powyżej
- Stosownie
- rzeczywisty
- AI
- Trening AI
- AL
- Alan
- Wyrównuje
- również
- Ameryka
- amerykański
- Amerykanie
- an
- i
- odpowiedź
- odpowiedzi
- każdy
- zjawić się
- pojawia się
- architektura
- SĄ
- na około
- sztuczny
- sztuczna inteligencja
- AS
- Autorzy
- średni
- świadomy
- Baseball
- na podstawie
- Koszykówka
- BE
- być
- za
- jest
- Berlin
- Ulepsz Swój
- pomiędzy
- stronniczość
- stronniczy
- uprzedzenia
- ale
- by
- nazywa
- CAN
- zdolność
- ChatGPT
- roszczenie
- twierdził,
- twierdząc,
- wyraźnie
- Cointelegraph
- jak
- społeczności
- konserwatywny
- zawierać
- zawartość
- mógłby
- kraje
- stworzony
- ciekawy
- dane
- definiowanie
- demograficzny
- Demografia
- Pochodny
- rozwinięty
- ZROBIŁ
- różni się
- trudny
- odkrywanie
- danie
- wyróżnienie
- dokument
- Nie
- dziesiątki
- E i T
- każdy
- wschodni
- osadzone
- całkowicie
- istotnie
- ustanowiony
- itp
- Parzyste
- przykład
- przykłady
- spodziewany
- odkryj
- Exploring
- wyrażone
- fakt
- fałszywy
- Moja lista
- Znajdź
- znalezieniu
- jedzenie
- żywność
- piłka nożna
- W razie zamówieenia projektu
- znaleziono
- od
- Funkcje
- dalej
- Generować
- generator
- niemiecki
- Dać
- dany
- Go
- Goes
- Zarządzanie
- Grupy
- Have
- mający
- tutaj
- Jednak
- HTTPS
- człowiek
- pomysł
- ie
- if
- obraz
- Rezultat
- in
- niedokładny
- zawierać
- indywidualny
- nieodłączny
- przykład
- Inteligencja
- Zamierzam
- celowo
- badać
- IT
- JEGO
- jpg
- Etykieta
- Etykiety
- język
- duży
- łacina
- Ameryka Łacińska
- Ameryki Łacińskiej
- lewo
- Ograniczenia
- Lama
- zrobiony
- Dokonywanie
- mężczyzna
- zmierzenie
- Media
- spełnione
- Metodologia
- Środkowy
- może
- minimum
- model
- modele
- jeszcze
- większość
- Najbardziej popularne posty
- Natura
- koniecznie
- Nowości
- Nie
- numer
- of
- on
- ONE
- Online
- tylko
- or
- na zewnątrz
- wydajność
- koniec
- Papier
- udział
- szczególny
- osoba
- osób
- Pizza
- Miejsca
- plato
- Analiza danych Platona
- PlatoDane
- politycznie
- Popularny
- Post
- Wiadomości
- potencjał
- wygląda tak
- publiczny
- ciągnięcie
- pytanie
- zacytować
- raczej
- real
- Prawdziwy świat
- rozpoznać
- rafinowany
- odzwierciedlając
- związane z
- relacja
- reprezentować
- przedstawiciel
- reprezentowanie
- Badania naukowe
- Badacze
- Odpowiadać
- Odpowiedzi
- dalsze
- taki sam
- powiedzieć
- Naukowcy
- wydaje
- oddzielny
- Zestawy
- powinien
- pokazane
- Targi
- podobny
- Podobnie
- Prosty
- po prostu
- pojedynczy
- Piłka nożna
- Obserwuj Nas
- Media społecznościowe
- kilka
- Ktoś
- specyficzny
- Spin
- Sport
- SPORTOWE
- rozpoczęty
- Stan
- Badanie
- Studiowanie
- taki
- Badanie
- system
- stół
- zespół
- nastolatek
- test
- Testowanie
- XNUMX
- niż
- że
- Połączenia
- świat
- ich
- sami
- następnie
- Te
- one
- to
- tych
- chociaż?
- próg
- poprzez
- do
- narzędzie
- w kierunku
- Trening
- próbować
- dla
- zrozumiany
- na
- Stosowanie
- używany
- Użytkownicy
- Wariant
- początku.
- zdolność do życia
- głosowanie
- była
- we
- Strona internetowa
- były
- Co
- jeśli chodzi o komunikację i motywację
- czy
- KIM
- w
- kobieta
- słowa
- świat
- by
- pisanie
- napisany
- rok
- You
- siebie
- zefirnet