We lanceren een classifier die is getraind om onderscheid te maken tussen door AI geschreven en door mensen geschreven tekst.
We hebben een classificator getraind om onderscheid te maken tussen tekst die is geschreven door een mens en tekst die is geschreven door AI's van verschillende providers. Hoewel het onmogelijk is om op betrouwbare wijze alle door AI geschreven tekst te detecteren, zijn we van mening dat goede classificaties kunnen zorgen voor oplossingen voor valse beweringen dat door AI gegenereerde tekst door een mens is geschreven: bijvoorbeeld het uitvoeren van geautomatiseerde desinformatiecampagnes, AI-tools gebruiken voor academische oneerlijkheid en een AI-chatbot positioneren als een mens.
Onze classifier is niet volledig betrouwbaar. In onze evaluaties van een "challenge set" van Engelse teksten, identificeert onze classifier 26% van de door AI geschreven tekst (true positives) correct als "waarschijnlijk door AI geschreven", terwijl door mensen geschreven tekst ten onrechte wordt gelabeld als door AI geschreven 9% van de de tijd (false positives). De betrouwbaarheid van onze classificator verbetert doorgaans naarmate de lengte van de invoertekst toeneemt. Vergeleken met onze eerder uitgebrachte classificatie, is deze nieuwe classificator aanzienlijk betrouwbaarder op tekst van recentere AI-systemen.
We maken deze classificatie openbaar beschikbaar om feedback te krijgen over de vraag of onvolmaakte tools zoals deze nuttig zijn. Ons werk aan de detectie van door AI gegenereerde tekst zal worden voortgezet en we hopen in de toekomst verbeterde methoden te delen.
Probeer zelf onze gratis work-in-progress-classifier:
Beperkingen
Onze classifier heeft een aantal belangrijke beperkingen. Het mag niet worden gebruikt als primair besluitvormingsinstrument, maar in plaats daarvan als aanvulling op andere methoden om de bron van een stuk tekst te bepalen.
- De classifier is zeer onbetrouwbaar op korte teksten (minder dan 1,000 tekens). Zelfs langere teksten worden soms verkeerd gelabeld door de classifier.
- Soms wordt door mensen geschreven tekst door onze classificator onjuist maar zelfverzekerd bestempeld als AI-geschreven.
- We raden aan de classificatie alleen te gebruiken voor Engelse tekst. Het presteert aanzienlijk slechter in andere talen en het is onbetrouwbaar op code.
- Tekst die erg voorspelbaar is, kan niet op betrouwbare wijze worden geïdentificeerd. Het is bijvoorbeeld onmogelijk te voorspellen of een lijst met de eerste 1,000 priemgetallen door AI of door mensen is geschreven, omdat het juiste antwoord altijd hetzelfde is.
- Door AI geschreven tekst kan worden bewerkt om de classificatie te omzeilen. Classifiers zoals de onze kunnen worden bijgewerkt en opnieuw getraind op basis van succesvolle aanvallen, maar het is onduidelijk of detectie op de lange termijn een voordeel heeft.
- Het is bekend dat classifiers op basis van neurale netwerken buiten hun trainingsgegevens slecht gekalibreerd zijn. Voor invoer die sterk verschilt van tekst in onze trainingsset, heeft de classificator soms veel vertrouwen in een verkeerde voorspelling.
De classificator trainen
Onze classifier is een taalmodel dat is afgestemd op een dataset van paren van door mensen geschreven tekst en door AI geschreven tekst over hetzelfde onderwerp. We hebben deze dataset verzameld uit verschillende bronnen waarvan we denken dat ze door mensen zijn geschreven, zoals de pre-trainingsgegevens en menselijke demonstraties op prompts die zijn ingediend bij InstruerenGPT. We hebben elke tekst opgedeeld in een prompt en een antwoord. Op deze prompts genereerden we reacties van verschillende taalmodellen die door ons en andere organisaties waren getraind. Voor onze web-app passen we de betrouwbaarheidsdrempel aan om het percentage fout-positieven laag te houden; met andere woorden, we markeren tekst alleen als waarschijnlijk door AI geschreven als de classificator er zeker van is.
Impact op docenten en roep om input
We erkennen dat het identificeren van door AI geschreven tekst een belangrijk discussiepunt is geweest onder docenten, en even belangrijk is het erkennen van de beperkingen en impact van door AI gegenereerde tekstclassificaties in de klas. We hebben een ontwikkeld voorlopige bron over het gebruik van ChatGPT voor docenten, waarin enkele gebruiksmogelijkheden en bijbehorende beperkingen en overwegingen worden beschreven. Hoewel deze bron is gericht op docenten, verwachten we dat onze classificatietools en bijbehorende classificatietools een impact zullen hebben op journalisten, onderzoekers van verkeerde/desinformatie en andere groepen.
We zijn in gesprek met onderwijzers in de VS om te leren wat ze in hun klas zien en om de mogelijkheden en beperkingen van ChatGPT te bespreken, en we zullen ons bereik blijven verbreden terwijl we leren. Dit zijn belangrijke gesprekken die deel uitmaken van onze missie om grote taalmodellen veilig in te zetten, in direct contact met de getroffen gemeenschappen.
Als u rechtstreeks door deze problemen wordt getroffen (inclusief maar niet beperkt tot docenten, beheerders, ouders, leerlingen en onderwijsaanbieders), geef ons dan feedback via dit formulier. Directe feedback op de voorlopige bron is nuttig, en we verwelkomen ook alle bronnen die docenten ontwikkelen of nuttig vinden (bijv. cursusrichtlijnen, erecode en beleidsupdates, interactieve tools, AI-geletterdheidsprogramma's).
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26%
- 7
- a
- academische
- beheerders
- Voordeel
- AI
- AI chatbot
- Alles
- altijd
- onder
- en
- beantwoorden
- gebruiken
- geassocieerd
- Aanvallen
- Beschikbaar
- gebaseerde
- omdat
- geloofd wie en wat je bent
- onder
- tussen
- verbreden
- Bellen
- kan niet
- mogelijkheden
- tekens
- Chatbot
- ChatGPT
- vorderingen
- code
- Gemeenschappen
- vergeleken
- Aanvulling
- vertrouwen
- zeker
- vertrouwen
- overwegingen
- contact
- voortzetten
- conversaties
- Type cursus
- gegevens
- Besluitvorming
- implementeren
- Opsporing
- bepalen
- ontwikkelde
- het ontwikkelen van
- anders
- directe
- direct
- bespreken
- discussie
- onderscheiden
- Verdeeld
- elk
- Onderwijs
- opvoeders
- boeiende
- Engels
- even
- evaluaties
- Zelfs
- voorbeeld
- verwachten
- uiterst
- feedback
- Voornaam*
- gericht
- gevonden
- Gratis
- oppompen van
- geheel
- toekomst
- gegenereerde
- krijgen
- goed
- Kopen Google Reviews
- Groep
- richtlijnen
- nuttig
- hoop
- HTTPS
- menselijk
- Mensen
- geïdentificeerd
- identificeert
- het identificeren van
- Impact
- beïnvloed
- Effecten
- belangrijk
- onmogelijk
- verbeterd
- in
- Anders
- Inclusief
- onjuist
- Verhoogt
- invoer
- verkrijgen in plaats daarvan
- interactieve
- problemen
- IT
- Journalisten
- Houden
- bekend
- etikettering
- taal
- Talen
- Groot
- lancering
- LEARN
- Lengte
- Waarschijnlijk
- beperkingen
- Beperkt
- grenzen
- Lijst
- geletterdheid
- langdurig
- langer
- Laag
- maken
- Mark
- methoden
- Desinformatie
- Missie
- model
- modellen
- meer
- netwerken
- neurale netwerken
- New
- aantal
- nummers
- EEN
- OpenAI
- organisaties
- Overige
- outlines
- overtreffen
- buiten
- paren
- ouders
- deel
- presteert
- stuk
- Plato
- Plato gegevensintelligentie
- PlatoData
- dan
- punt
- beleidsmaatregelen
- positionering
- positief
- voorspellen
- Voorspelbaar
- voorspelling
- primair
- Prime
- Programma's
- zorgen voor
- providers
- in het openbaar
- tarief
- recent
- herkennen
- adviseren
- uitgebracht
- betrouwbaarheid
- betrouwbaar
- onderzoekers
- hulpbron
- Resources
- antwoord
- lopend
- veilig
- dezelfde
- te zien
- service
- dienstverleners
- reeks
- Delen
- Bermuda's
- moet
- aanzienlijk
- sommige
- bron
- bronnen
- Leerlingen
- ingediend
- geslaagd
- dergelijk
- Systems
- leraren
- De
- De Bron
- hun
- drempel
- naar
- tools
- onderwerp
- getraind
- Trainingen
- waar
- typisch
- bijgewerkt
- updates
- us
- .
- variëteit
- web
- welkom
- Wat
- of
- welke
- en
- wil
- woorden
- Mijn werk
- geschreven
- Verkeerd
- jezelf
- zephyrnet