Vi lanserer en klassifiserer som er trent til å skille mellom AI-skrevet og menneskeskreven tekst.
Vi har trent en klassifiserer til å skille mellom tekst skrevet av et menneske og tekst skrevet av AI-er fra en rekke leverandører. Selv om det er umulig å oppdage all AI-skrevet tekst på en pålitelig måte, tror vi at gode klassifiserere kan hjelpe til med å begrense falske påstander om at AI-generert tekst ble skrevet av et menneske: for eksempel kjører automatiserte feilinformasjonskampanjer, bruke AI-verktøy for akademisk uærlighet, og posisjonere en AI-chatbot som et menneske.
Klassifisereren vår er ikke helt pålitelig. I våre evalueringer av et "utfordringssett" med engelske tekster, identifiserer klassifisereren vår korrekt 26 % av AI-skrevet tekst (sann positive) som "sannsynlig AI-skrevet", mens den feilaktig merker menneskeskreven tekst som AI-skrevet 9 % av tiden (falske positive). Klassifisererens pålitelighet forbedres vanligvis etter hvert som lengden på inndatateksten øker. Sammenlignet med vår tidligere utgitt klassifikator, er denne nye klassifiseringen betydelig mer pålitelig på tekst fra nyere AI-systemer.
Vi gjør denne klassifiseringen offentlig tilgjengelig for å få tilbakemelding på om ufullkomne verktøy som dette er nyttige. Vårt arbeid med gjenkjenning av AI-generert tekst vil fortsette, og vi håper å dele forbedrede metoder i fremtiden.
Prøv vår gratis klassifisering under arbeid selv:
Begrensninger
Klassifisereren vår har en rekke viktige begrensninger. Det bør ikke brukes som et primært beslutningsverktøy, men i stedet som et supplement til andre metoder for å bestemme kilden til et tekststykke.
- Klassifisereren er veldig upålitelig på korte tekster (under 1,000 tegn). Enda lengre tekster er noen ganger feil merket av klassifisereren.
- Noen ganger vil menneskeskrevet tekst være feil, men sikkert merket som AI-skrevet av klassifisereren vår.
- Vi anbefaler å bruke klassifikatoren kun for engelsk tekst. Den yter betydelig dårligere på andre språk, og den er upålitelig på kode.
- Tekst som er veldig forutsigbar kan ikke identifiseres pålitelig. For eksempel er det umulig å forutsi om en liste over de første 1,000 primtallene ble skrevet av AI eller mennesker, fordi det riktige svaret alltid er det samme.
- AI-skrevet tekst kan redigeres for å unngå klassifiseringen. Klassifiserere som vår kan oppdateres og omskoleres basert på vellykkede angrep, men det er uklart om deteksjon har en fordel på lang sikt.
- Klassifikatorer basert på nevrale nettverk er kjent for å være dårlig kalibrert utenfor treningsdataene deres. For inndata som er svært forskjellig fra tekst i treningssettet vårt, er klassifisereren noen ganger ekstremt sikker på en feil prediksjon.
Trening av klassifisereren
Klassifisereren vår er en språkmodell finjustert på et datasett med par av menneskeskrevet tekst og AI-skrevet tekst om samme emne. Vi samlet dette datasettet fra en rekke kilder som vi tror er skrevet av mennesker, for eksempel data før trening og menneskelige demonstrasjoner på spørsmål sendt til InstruerGPT. Vi delte hver tekst inn i en forespørsel og et svar. På disse spørsmålene genererte vi svar fra en rekke forskjellige språkmodeller som er opplært av oss og andre organisasjoner. For nettappen vår justerer vi konfidensgrensen for å holde den falske positive raten lav; med andre ord, vi merker bare tekst som sannsynlig AI-skrevet hvis klassifisereren er veldig sikker.
Innvirkning på lærere og etterlyse innspill
Vi erkjenner at identifisering av AI-skrevet tekst har vært et viktig diskusjonspunkt blant lærere, og like viktig er å erkjenne grensene og virkningene av AI-genererte tekstklassifiserere i klasserommet. Vi har utviklet en foreløpig ressurs om bruk av ChatGPT for lærere, som skisserer noen av bruken og tilhørende begrensninger og hensyn. Selv om denne ressursen er fokusert på lærere, forventer vi at våre klassifiseringsverktøy og tilhørende klassifiseringsverktøy vil ha en innvirkning på journalister, mis-/dis-informasjonsforskere og andre grupper.
Vi samarbeider med lærere i USA for å lære hva de ser i klasserommene sine og for å diskutere ChatGPTs muligheter og begrensninger, og vi vil fortsette å utvide vår oppsøkende rekkevidde etter hvert som vi lærer. Dette er viktige samtaler å ha som en del av vårt oppdrag er å distribuere store språkmodeller trygt, i direkte kontakt med berørte lokalsamfunn.
Hvis du er direkte berørt av disse problemene (inkludert men ikke begrenset til lærere, administratorer, foreldre, elever og leverandører av utdanningstjenester), vennligst gi oss tilbakemelding ved å bruke dette skjemaet. Direkte tilbakemelding på foreløpig ressurs er nyttig, og vi ønsker også velkommen alle ressurser som lærere utvikler eller har funnet nyttige (f.eks. kursretningslinjer, æreskodeks og policyoppdateringer, interaktive verktøy, AI-kompetanseprogrammer).
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26%
- 7
- a
- akademisk
- administratorer
- Fordel
- AI
- AI chatbot
- Alle
- alltid
- blant
- og
- besvare
- app
- assosiert
- Angrep
- tilgjengelig
- basert
- fordi
- tro
- under
- mellom
- utvide
- ring
- kan ikke
- evner
- tegn
- chatbot
- ChatGPT
- krav
- kode
- Communities
- sammenlignet
- Kompletter
- selvtillit
- trygg
- selvsikkert
- betraktninger
- kontakt
- fortsette
- samtaler
- Kurs
- dato
- Beslutningstaking
- utplassere
- Gjenkjenning
- bestemme
- utviklet
- utvikle
- forskjellig
- direkte
- direkte
- diskutere
- diskusjon
- skille
- Divided
- hver enkelt
- Kunnskap
- lærere
- engasjerende
- Engelsk
- like
- evalueringer
- Selv
- eksempel
- forvente
- ekstremt
- tilbakemelding
- Først
- fokuserte
- funnet
- Gratis
- fra
- fullt
- framtid
- generert
- få
- god
- Gruppens
- retningslinjer
- nyttig
- håp
- HTTPS
- menneskelig
- Mennesker
- identifisert
- identifiserer
- identifisering
- Påvirkning
- påvirket
- Konsekvenser
- viktig
- umulig
- forbedret
- in
- I andre
- Inkludert
- feil
- øker
- inngang
- i stedet
- interaktiv
- saker
- IT
- Journalister
- Hold
- kjent
- merking
- Språk
- språk
- stor
- lansere
- LÆRE
- Lengde
- Sannsynlig
- begrensninger
- Begrenset
- grenser
- Liste
- literacy
- langsiktig
- lenger
- Lav
- Making
- merke
- metoder
- feil~~POS=TRUNC
- Oppdrag
- modell
- modeller
- mer
- nettverk
- nevrale nettverk
- Ny
- Antall
- tall
- ONE
- OpenAI
- organisasjoner
- Annen
- skisserer
- oppsøk
- utenfor
- par
- foreldre
- del
- utfører
- brikke
- plato
- Platon Data Intelligence
- PlatonData
- vær så snill
- Point
- politikk
- posisjonering
- positiv
- forutsi
- Forutsigbar
- prediksjon
- primære
- Prime
- programmer
- gi
- tilbydere
- offentlig
- Sats
- nylig
- gjenkjenne
- anbefaler
- utgitt
- pålitelighet
- pålitelig
- forskere
- ressurs
- Ressurser
- svar
- rennende
- trygt
- samme
- se
- tjeneste
- tjenestetilbydere
- sett
- Del
- Kort
- bør
- betydelig
- noen
- kilde
- Kilder
- Studenter
- innsendt
- vellykket
- slik
- Systemer
- lærere
- De
- Kilden
- deres
- terskel
- til
- verktøy
- Tema
- trent
- Kurs
- sant
- typisk
- oppdatert
- oppdateringer
- us
- bruke
- variasjon
- web
- velkommen
- Hva
- om
- hvilken
- mens
- vil
- ord
- Arbeid
- skrevet
- Feil
- deg selv
- zephyrnet