Vi lancerer en klassificering, der er trænet til at skelne mellem AI-skrevet og menneskeskreven tekst.
Vi har trænet en klassifikator til at skelne mellem tekst skrevet af et menneske og tekst skrevet af AI'er fra en række forskellige udbydere. Selvom det er umuligt pålideligt at detektere al AI-skrevet tekst, mener vi, at gode klassifikatorer kan informere om begrænsninger for falske påstande om, at AI-genereret tekst er skrevet af et menneske: f.eks. automatiserede misinformationskampagner, ved at bruge AI-værktøjer til akademisk uærlighed og positionere en AI-chatbot som et menneske.
Vores klassificering er ikke helt pålidelig. I vores evalueringer af et "udfordringssæt" af engelske tekster identificerer vores klassificering korrekt 26 % af AI-skrevet tekst (sandt positive) som "sandsynligt AI-skrevet", mens den forkert mærkede menneskeskreven tekst som AI-skrevet 9 % af tidspunktet (falske positive). Vores klassificerers pålidelighed forbedres typisk, efterhånden som længden af inputteksten øges. Sammenlignet med vores tidligere udgivet klassifikator, denne nye klassificering er betydeligt mere pålidelig på tekst fra nyere AI-systemer.
Vi gør denne klassificering offentligt tilgængelig for at få feedback om, hvorvidt ufuldkomne værktøjer som denne er nyttige. Vores arbejde med detektering af AI-genereret tekst vil fortsætte, og vi håber at kunne dele forbedrede metoder i fremtiden.
Prøv selv vores gratis work-in-progress klassificering:
Begrænsninger
Vores klassificering har en række vigtige begrænsninger. Det bør ikke bruges som et primært beslutningsværktøj, men i stedet som et supplement til andre metoder til at bestemme kilden til et stykke tekst.
- Klassificeringen er meget upålidelig på korte tekster (under 1,000 tegn). Selv længere tekster er nogle gange forkert mærket af klassificereren.
- Nogle gange vil menneskeskreven tekst være forkert, men sikkert mærket som AI-skrevet af vores klassificerer.
- Vi anbefaler kun at bruge klassificeringen til engelsk tekst. Den klarer sig væsentligt dårligere på andre sprog, og den er upålidelig på kode.
- Tekst, der er meget forudsigelig, kan ikke identificeres pålideligt. For eksempel er det umuligt at forudsige, om en liste over de første 1,000 primtal er skrevet af AI eller mennesker, fordi det rigtige svar altid er det samme.
- AI-skrevet tekst kan redigeres for at undgå klassificeringen. Klassifikatorer som vores kan opdateres og genoptrænes baseret på vellykkede angreb, men det er uklart, om detektion har en fordel på lang sigt.
- Klassifikatorer baseret på neurale netværk er kendt for at være dårligt kalibreret uden for deres træningsdata. For input, der er meget forskellige fra tekst i vores træningssæt, er klassificereren nogle gange ekstremt sikker på en forkert forudsigelse.
Træning af klassificereren
Vores klassificering er en sprogmodel, der er finjusteret på et datasæt af par af menneskeskreven tekst og AI-skrevet tekst om det samme emne. Vi indsamlede dette datasæt fra en række forskellige kilder, som vi mener er skrevet af mennesker, såsom forudgående træningsdata og menneskelige demonstrationer på prompter indsendt til Instruer GPT. Vi delte hver tekst op i en prompt og et svar. På disse prompter genererede vi svar fra en række forskellige sprogmodeller, trænet af os og andre organisationer. For vores webapp justerer vi konfidensgrænsen for at holde den falske positive rate lav; med andre ord markerer vi kun tekst som sandsynlig AI-skrevet, hvis klassificereren er meget sikker.
Påvirkning af pædagoger og efterlys input
Vi erkender, at identifikation af AI-skrevet tekst har været et vigtigt diskussionspunkt blandt undervisere, og lige så vigtigt er det at erkende grænserne og virkningerne af AI-genererede tekstklassifikatorer i klasseværelset. Vi har udviklet en foreløbig ressource om brugen af ChatGPT til undervisere, som skitserer nogle af anvendelserne og tilhørende begrænsninger og overvejelser. Selvom denne ressource er fokuseret på undervisere, forventer vi, at vores klassificeringsværktøj og tilhørende klassificeringsværktøjer har en indvirkning på journalister, mis-/dis-informationsforskere og andre grupper.
Vi er i dialog med undervisere i USA for at lære, hvad de ser i deres klasseværelser, og for at diskutere ChatGPTs muligheder og begrænsninger, og vi vil fortsætte med at udvide vores rækkevidde, efterhånden som vi lærer. Det er vigtige samtaler at have, da en del af vores mission er at implementere store sprogmodeller sikkert i direkte kontakt med berørte samfund.
Hvis du er direkte berørt af disse problemer (herunder men ikke begrænset til lærere, administratorer, forældre, elever og uddannelsesudbydere), bedes du give os feedback ved at bruge denne formular. Direkte feedback på foreløbig ressource er nyttigt, og vi hilser også alle ressourcer velkommen, som undervisere er ved at udvikle eller har fundet nyttige (f.eks. kursusvejledninger, æreskodeks og politikopdateringer, interaktive værktøjer, AI-færdighedsprogrammer).
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
- Kilde: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26 %
- 7
- a
- akademisk
- administratorer
- Fordel
- AI
- AI chatbot
- Alle
- altid
- blandt
- ,
- besvare
- app
- forbundet
- Angreb
- til rådighed
- baseret
- fordi
- Tro
- jf. nedenstående
- mellem
- udvide
- ringe
- kan ikke
- kapaciteter
- tegn
- chatbot
- ChatGPT
- fordringer
- kode
- Fællesskaber
- sammenlignet
- komplement
- tillid
- sikker
- trygt
- overvejelser
- kontakt
- fortsæt
- samtaler
- Kursus
- data
- Beslutningstagning
- indsætte
- Detektion
- bestemmelse
- udviklet
- udvikling
- forskellige
- direkte
- direkte
- diskutere
- diskussion
- skelne
- Divided
- hver
- Uddannelse
- pædagoger
- engagerende
- Engelsk
- lige
- evalueringer
- Endog
- eksempel
- forvente
- ekstremt
- tilbagemeldinger
- Fornavn
- fokuserede
- fundet
- Gratis
- fra
- fuldt ud
- fremtiden
- genereret
- få
- godt
- Gruppens
- retningslinjer
- hjælpsom
- håber
- HTTPS
- menneskelig
- Mennesker
- identificeret
- identificerer
- identificere
- KIMOs Succeshistorier
- påvirket
- Påvirkninger
- vigtigt
- umuligt
- forbedret
- in
- I andre
- Herunder
- forkert
- Stigninger
- indgang
- i stedet
- interaktiv
- spørgsmål
- IT
- Journalister
- Holde
- kendt
- mærkning
- Sprog
- Sprog
- stor
- lancering
- LÆR
- Længde
- Sandsynlig
- begrænsninger
- Limited
- grænser
- Liste
- læsefærdigheder
- langsigtet
- længere
- Lav
- Making
- markere
- metoder
- misinformation
- Mission
- model
- modeller
- mere
- net
- neurale netværk
- Ny
- nummer
- numre
- ONE
- OpenAI
- organisationer
- Andet
- konturer
- opsøgende
- uden for
- par
- forældre
- del
- udfører
- stykke
- plato
- Platon Data Intelligence
- PlatoData
- Vær venlig
- Punkt
- politik
- positionering
- positiv
- forudsige
- Forudsigelig
- forudsigelse
- primære
- Prime
- Programmer
- give
- udbydere
- offentligt
- Sats
- nylige
- genkende
- anbefaler
- frigivet
- pålidelighed
- pålidelig
- forskere
- ressource
- Ressourcer
- svar
- kører
- sikkert
- samme
- se
- tjeneste
- service-udøvere
- sæt
- Del
- Kort
- bør
- betydeligt
- nogle
- Kilde
- Kilder
- Studerende
- indsendt
- vellykket
- sådan
- Systemer
- lærere
- The Source
- deres
- tærskel
- til
- værktøjer
- emne
- uddannet
- Kurser
- sand
- typisk
- opdateret
- opdateringer
- us
- brug
- række
- web
- velkommen
- Hvad
- hvorvidt
- som
- mens
- vilje
- ord
- Arbejde
- skriftlig
- Forkert
- dig selv
- zephyrnet