Lansăm un clasificator instruit să facă distincția între textul scris prin inteligență artificială și textul scris de om.
Am instruit un clasificator pentru a face distincția între textul scris de un om și textul scris de AI de la o varietate de furnizori. Deși este imposibil să detectăm în mod fiabil tot textul scris prin IA, credem că clasificatorii buni pot informa atenuările pentru afirmațiile false că textul generat prin IA a fost scris de un om: de exemplu, rularea campanii automate de dezinformare, folosind instrumente AI pentru necinste academică și poziționând un chatbot AI ca om.
Clasificatorul nostru nu este pe deplin de încredere. În evaluările noastre cu privire la un „set de provocări” de texte în limba engleză, clasificatorul nostru identifică corect 26% din textul scris prin IA (adevărate pozitive) ca fiind „probabil scris prin IA”, în timp ce etichetează incorect textul scris de către om ca fiind scris prin IA 9% din timpul (false pozitive). Fiabilitatea clasificatorului nostru se îmbunătățește de obicei pe măsură ce lungimea textului introdus crește. Comparativ cu al nostru clasificator lansat anterior, acest nou clasificator este semnificativ mai fiabil pe textul din sistemele AI mai recente.
Facem acest clasificator disponibil public pentru a obține feedback despre dacă instrumente imperfecte precum acesta sunt utile. Munca noastră privind detectarea textului generat de AI va continua și sperăm să împărtășim metode îmbunătățite în viitor.
Încercați dvs. clasificatorul nostru gratuit pentru lucrări în curs:
Limitări
Clasificatorul nostru are o serie de limitări importante. Nu ar trebui să fie folosit ca instrument principal de luare a deciziilor, ci în schimb ca o completare a altor metode de determinare a sursei unui fragment de text.
- Clasificatorul este foarte nesigur pe texte scurte (sub 1,000 de caractere). Chiar și textele mai lungi sunt uneori etichetate incorect de către clasificator.
- Uneori, textul scris de oameni va fi etichetat incorect, dar cu încredere, ca fiind scris prin IA de către clasificatorul nostru.
- Vă recomandăm să utilizați clasificatorul numai pentru textul în limba engleză. Funcționează semnificativ mai rău în alte limbi și nu este de încredere în cod.
- Textul care este foarte previzibil nu poate fi identificat în mod fiabil. De exemplu, este imposibil de prezis dacă o listă cu primele 1,000 de numere prime a fost scrisă de AI sau de oameni, deoarece răspunsul corect este întotdeauna același.
- Textul scris prin IA poate fi editat pentru a evita clasificatorul. Clasificatorii ca al nostru pot fi actualizați și reantrenați pe baza atacurilor de succes, dar nu este clar dacă detectarea are un avantaj pe termen lung.
- Se știe că clasificatoarele bazate pe rețele neuronale sunt slab calibrate în afara datelor lor de antrenament. Pentru intrările care sunt foarte diferite de textul din setul nostru de antrenament, clasificatorul este uneori extrem de încrezător într-o predicție greșită.
Antrenarea clasificatorului
Clasificatorul nostru este un model de limbaj ajustat pe un set de date de perechi de text scris de om și text scris de AI pe același subiect. Am colectat acest set de date dintr-o varietate de surse despre care credem că sunt scrise de oameni, cum ar fi datele de preinstruire și demonstrațiile umane privind solicitările trimise către InstructGPT. Am împărțit fiecare text într-un prompt și un răspuns. La aceste solicitări am generat răspunsuri de la o varietate de modele de limbaj diferite, instruite de noi și de alte organizații. Pentru aplicația noastră web, ajustăm pragul de încredere pentru a menține rata de fals pozitive scăzută; cu alte cuvinte, marcăm textul ca fiind probabil scris prin IA doar dacă clasificatorul este foarte încrezător.
Impact asupra educatorilor și apel pentru contribuții
Recunoaștem că identificarea textului scris prin inteligență artificială a fost un punct important de discuție în rândul educatorilor și, la fel de important, este recunoașterea limitelor și impactului clasificatoarelor de text generate de inteligența artificială în sala de clasă. Am dezvoltat un resursă preliminară privind utilizarea ChatGPT pentru educatori, care subliniază unele dintre utilizări și limitările și considerațiile asociate. Deși această resursă se concentrează pe educatori, ne așteptăm ca clasificatorul nostru și instrumentele de clasificare asociate să aibă un impact asupra jurnaliştilor, cercetătorilor în dezinformare/dezinformare și a altor grupuri.
Ne angajăm cu educatori din SUA pentru a afla ce văd ei în sălile de clasă și pentru a discuta despre capacitățile și limitările ChatGPT, iar noi vom continua să ne lărgim obiectivele pe măsură ce învățăm. Acestea sunt conversații importante pe care trebuie să le avem, ca parte a misiunii noastre este de a implementa modele lingvistice mari în siguranță, în contact direct cu comunitățile afectate.
Dacă sunteți direct afectat de aceste probleme (inclusiv, dar fără a se limita la profesori, administratori, părinți, studenți și furnizori de servicii educaționale), vă rugăm să ne furnizați feedback folosind acest formular. Feedback direct asupra resursă preliminară este utilă și, de asemenea, salutăm orice resurse pe care educatorii le dezvoltă sau pe care le-au găsit utile (de exemplu, ghiduri de curs, actualizări de coduri de onoare și politici, instrumente interactive, programe de alfabetizare AI).
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26%
- 7
- a
- academic
- administratori
- Avantaj
- AI
- Chatbot AI
- TOATE
- mereu
- printre
- și
- răspunde
- aplicaţia
- asociate
- Atacuri
- disponibil
- bazat
- deoarece
- Crede
- de mai jos
- între
- extinde
- apel
- nu poti
- capacități
- caractere
- chatbot
- Chat GPT
- creanțe
- cod
- Comunități
- comparație
- Completa
- încredere
- încrezător
- cu încredere
- Considerații
- contactați-ne
- continua
- conversații
- Curs
- de date
- Luarea deciziilor
- implementa
- Detectare
- determinarea
- dezvoltat
- în curs de dezvoltare
- diferit
- direcționa
- direct
- discuta
- discuţie
- distinge
- împărțit
- fiecare
- Educaţie
- educatori
- captivant
- Engleză
- la fel de
- evaluări
- Chiar
- exemplu
- aștepta
- extrem
- feedback-ul
- First
- concentrat
- găsit
- Gratuit
- din
- complet
- viitor
- generată
- obține
- bine
- Grupului
- orientări
- util
- speranţă
- HTTPS
- uman
- Oamenii
- identificat
- identifică
- identificarea
- Impactul
- afectate
- Impacturi
- important
- imposibil
- îmbunătățit
- in
- În altele
- Inclusiv
- în mod incorect
- Creșteri
- intrare
- in schimb
- interactiv
- probleme de
- IT
- jurnaliştii
- A pastra
- cunoscut
- etichetarea
- limbă
- Limbă
- mare
- lansare
- AFLAȚI
- Lungime
- Probabil
- limitări
- Limitat
- Limitele
- Listă
- alfabetizare
- pe termen lung
- mai lung
- Jos
- Efectuarea
- marca
- Metode
- Dezinformare
- Misiune
- model
- Modele
- mai mult
- rețele
- rețele neuronale
- Nou
- număr
- numere
- ONE
- OpenAI
- organizații
- Altele
- contururi
- outreach
- exterior
- perechi
- părinţi
- parte
- efectuează
- bucată
- Plato
- Informații despre date Platon
- PlatoData
- "vă rog"
- Punct
- Politica
- poziţionare
- pozitiv
- prezice
- predictibil
- prezicere
- primar
- Prim
- Programe
- furniza
- furnizori
- public
- rată
- recent
- recunoaște
- recomanda
- eliberat
- încredere
- de încredere
- cercetători
- resursă
- Resurse
- răspuns
- funcţionare
- în siguranță
- acelaşi
- vedere
- serviciu
- prestatori de servicii
- set
- Distribuie
- Pantaloni scurți
- să
- semnificativ
- unele
- Sursă
- Surse
- Elevi
- prezentat
- de succes
- astfel de
- sisteme
- profesori
- Sursa
- lor
- prag
- la
- Unelte
- subiect
- dresat
- Pregătire
- adevărat
- tipic
- actualizat
- actualizări
- us
- utilizare
- varietate
- web
- bun venit
- Ce
- dacă
- care
- în timp ce
- voi
- cuvinte
- Apartamente
- scris
- Greșit
- te
- zephyrnet