Wir führen einen Klassifikator ein, der darauf trainiert ist, zwischen KI- und menschengeschriebenem Text zu unterscheiden.
Wir haben einen Klassifikator trainiert, um zwischen Texten zu unterscheiden, die von Menschen geschrieben wurden, und Texten, die von KIs verschiedener Anbieter geschrieben wurden. Obwohl es unmöglich ist, alle KI-geschriebenen Texte zuverlässig zu erkennen, glauben wir, dass gute Klassifikatoren fälschliche Behauptungen, dass KI-generierter Text von einem Menschen geschrieben wurde, entschärfen können, z. B. Laufen automatisierte Fehlinformationskampagnen, die Verwendung von KI-Tools für akademische Unehrlichkeit und die Positionierung eines KI-Chatbots als Mensch.
Unser Klassifikator ist nicht vollständig zuverlässig. In unseren Auswertungen zu einem „Herausforderungssatz“ englischer Texte identifiziert unser Klassifikator 26 % der von KI geschriebenen Texte (wahre positive Ergebnisse) korrekt als „wahrscheinlich von KI geschrieben“, während von Menschen geschriebene Texte fälschlicherweise als KI-geschriebene 9 % gekennzeichnet werden die Zeit (False Positives). Die Zuverlässigkeit unseres Klassifikators verbessert sich normalerweise mit zunehmender Länge des Eingabetexts. Im Vergleich zu unserem zuvor veröffentlichter Klassifikator, ist dieser neue Klassifikator wesentlich zuverlässiger für Text aus neueren KI-Systemen.
Wir stellen diesen Klassifikator öffentlich zur Verfügung, um Feedback dazu zu erhalten, ob unvollkommene Tools wie dieses nützlich sind. Unsere Arbeit an der Erkennung von KI-generiertem Text wird fortgesetzt, und wir hoffen, in Zukunft verbesserte Methoden vorstellen zu können.
Probieren Sie unseren kostenlosen Work-in-Progress-Klassifikator selbst aus:
Einschränkungen
Unser Klassifikator hat eine Reihe wichtiger Einschränkungen. Es sollte nicht als primäres Entscheidungsinstrument verwendet werden, sondern als Ergänzung zu anderen Methoden zur Bestimmung der Quelle eines Textes.
- Bei kurzen Texten (unter 1,000 Zeichen) ist der Klassifikator sehr unzuverlässig. Auch längere Texte werden manchmal vom Klassifikator falsch gekennzeichnet.
- Manchmal wird von Menschen geschriebener Text von unserem Klassifikator fälschlicherweise aber sicher als KI-geschrieben gekennzeichnet.
- Wir empfehlen, den Klassifikator nur für englischen Text zu verwenden. Es schneidet in anderen Sprachen deutlich schlechter ab und ist im Code unzuverlässig.
- Text, der sehr vorhersehbar ist, kann nicht zuverlässig identifiziert werden. So lässt sich beispielsweise nicht vorhersagen, ob eine Liste der ersten 1,000 Primzahlen von KI oder Menschen geschrieben wurde, weil die richtige Antwort immer gleich ist.
- KI-geschriebener Text kann bearbeitet werden, um den Klassifikator zu umgehen. Klassifikatoren wie der unsere können aufgrund erfolgreicher Angriffe aktualisiert und neu trainiert werden, aber es ist unklar, ob die Erkennung langfristig einen Vorteil bringt.
- Auf neuronalen Netzen basierende Klassifikatoren sind bekanntermaßen außerhalb ihrer Trainingsdaten schlecht kalibriert. Bei Eingaben, die sich stark vom Text in unserem Trainingssatz unterscheiden, ist der Klassifikator manchmal sehr zuversichtlich, eine falsche Vorhersage zu treffen.
Klassifizierer trainieren
Unser Klassifikator ist ein Sprachmodell, das auf einem Datensatz von Paaren aus von Menschen geschriebenem Text und KI-geschriebenem Text zum selben Thema abgestimmt ist. Wir haben diesen Datensatz aus einer Vielzahl von Quellen gesammelt, von denen wir glauben, dass sie von Menschen geschrieben wurden, wie z. B. die Vortrainingsdaten und menschliche Demonstrationen zu Eingabeaufforderungen GPT anweisen. Wir haben jeden Text in eine Aufforderung und eine Antwort unterteilt. Auf diese Eingabeaufforderungen hin generierten wir Antworten aus einer Vielzahl unterschiedlicher Sprachmodelle, die von uns und anderen Organisationen trainiert wurden. Für unsere Web-App passen wir den Konfidenzschwellenwert an, um die Falsch-Positiv-Rate niedrig zu halten; Mit anderen Worten, wir markieren Text nur dann als wahrscheinlich KI-geschrieben, wenn der Klassifikator sehr zuversichtlich ist.
Auswirkungen auf Pädagogen und Aufforderung zur Eingabe
Wir erkennen an, dass die Identifizierung von KI-geschriebenem Text ein wichtiger Diskussionspunkt unter Pädagogen war, und ebenso wichtig ist es, die Grenzen und Auswirkungen von KI-generierten Textklassifikatoren im Klassenzimmer zu erkennen. Wir haben eine entwickelt vorläufige Ressource zur Verwendung von ChatGPT für Pädagogen, das einige der Verwendungen und damit verbundenen Einschränkungen und Überlegungen umreißt. Obwohl sich diese Ressource auf Pädagogen konzentriert, gehen wir davon aus, dass unser Klassifikator und die zugehörigen Klassifikator-Tools Auswirkungen auf Journalisten, Ermittler von Falsch-/Desinformationen und andere Gruppen haben werden.
Wir arbeiten mit Pädagogen in den USA zusammen, um zu erfahren, was sie in ihren Klassenzimmern sehen, und um die Möglichkeiten und Grenzen von ChatGPT zu diskutieren, und wir werden unsere Reichweite im Laufe der Zeit weiter ausbauen. Dies sind wichtige Gespräche, da es Teil unserer Mission ist, große Sprachmodelle sicher und in direktem Kontakt mit betroffenen Gemeinschaften bereitzustellen.
Wenn Sie direkt von diesen Problemen betroffen sind (einschließlich, aber nicht beschränkt auf Lehrer, Administratoren, Eltern, Schüler und Anbieter von Bildungsdiensten), geben Sie uns bitte Feedback unter Verwendung von diese Form. Direktes Feedback zum vorläufige Ressource ist hilfreich, und wir begrüßen auch alle Ressourcen, die Pädagogen entwickeln oder hilfreich fanden (z. B. Kursrichtlinien, Ehrenkodex und Richtlinienaktualisierungen, interaktive Tools, KI-Literaturprogramme).
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26%
- 7
- a
- akademisch
- Administratoren
- Vorteil
- AI
- AI Chatbot
- Alle
- immer
- unter
- und
- beantworten
- App
- damit verbundenen
- Anschläge
- verfügbar
- basierend
- weil
- Glauben
- unten
- zwischen
- erweitern
- rufen Sie uns an!
- kann keine
- Fähigkeiten
- Zeichen
- Chatbot
- ChatGPT
- aus aller Welt
- Code
- Communities
- verglichen
- Ergänzung
- Vertrauen
- zuversichtlich
- zuversichtlich
- Überlegungen
- Kontakt
- fortsetzen
- Gespräche
- Kurs
- technische Daten
- Decision Making
- einsetzen
- Entdeckung
- Festlegung
- entwickelt
- Entwicklung
- anders
- Direkt
- Direkt
- diskutieren
- Diskussion
- unterscheiden
- geteilt
- jeder
- Bildungswesen
- Erzieher
- Eingriff
- Englisch
- gleichermaßen
- Auswertungen
- Sogar
- Beispiel
- erwarten
- äußerst
- Feedback
- Vorname
- konzentriert
- gefunden
- Frei
- für
- voll
- Zukunft
- erzeugt
- bekommen
- gut
- Gruppen
- Richtlinien
- hilfreich
- ein Geschenk
- HTTPS
- human
- Humans
- identifiziert
- identifiziert
- Identifizierung
- Impact der HXNUMXO Observatorien
- wirkt
- Einfluss hat
- wichtig
- unmöglich
- verbessert
- in
- In anderen
- Einschließlich
- falsch
- Steigert
- Varianten des Eingangssignals:
- beantragen müssen
- interaktive
- Probleme
- IT
- Journalisten
- Behalten
- bekannt
- Beschriftung
- Sprache
- Sprachen
- grosse
- Start
- LERNEN
- Länge
- wahrscheinlich
- Einschränkungen
- Limitiert
- Grenzen
- Liste
- Alphabetisierung
- langfristig
- länger
- Sneaker
- Making
- Kennzeichen
- Methoden
- Fehlinformationen
- Ziel
- Modell
- für
- mehr
- Netzwerke
- Neuronale Netze
- Neu
- Anzahl
- Zahlen
- EINEM
- OpenAI
- Organisationen
- Andere
- Umrissen
- Reichweite
- aussen
- Paare
- Eltern
- Teil
- führt
- Stück
- Plato
- Datenintelligenz von Plato
- PlatoData
- Bitte
- Points
- Datenschutzrichtlinien
- Positionierung
- positiv
- vorhersagen
- Vorhersagbar
- Prognose
- primär
- Prime
- Programme
- die
- Anbieter
- öffentlich
- Bewerten
- kürzlich
- erkennen
- empfehlen
- freigegeben
- Zuverlässigkeit
- zuverlässig
- Forscher
- Ressourcen
- Downloads
- Antwort
- Laufen
- sicher
- gleich
- Sehen
- Dienstleister
- kompensieren
- Teilen
- Short
- sollte
- bedeutend
- einige
- Quelle
- Quellen
- Die Kursteilnehmer
- eingereicht
- erfolgreich
- so
- Systeme und Techniken
- auch Lehrer
- Das
- Die Quelle
- ihr
- Schwelle
- zu
- Werkzeuge
- Thema
- trainiert
- Ausbildung
- was immer dies auch sein sollte.
- typisch
- aktualisiert
- Updates
- us
- -
- Vielfalt
- Netz
- willkommen
- Was
- ob
- welche
- während
- werden wir
- Worte
- Arbeiten
- geschrieben
- Falsch
- sich selbst
- Zephyrnet