Universiteter tilbød programvare for å snuse opp ChatGPT-skrevne essays

Trekk Turnitin, mest kjent for sin antiplagieringsprogramvare som brukes av titusenvis av universiteter og skoler rundt om i verden, bygger et verktøy for å oppdage tekst generert av AI.

Store språkmodeller har fått gjennomslag siden den kommersielle utgivelsen av OpenAIs GPT-3 i 2020. Nå flere selskaper har bygget sine egne rivaliserende maskinlæringssystemer, og kickstartet en ny bølge av startups som utvikler produkter drevet av generativ AI. Disse modellene fungerer som chatboter for generelle formål. Brukere skriver instruksjoner, og de vil svare med passasjer med sammenhengende, overbevisende tekst.

Studenter bruker i økende grad AI-verktøy for å fullføre oppgaver, mens lærere bare begynner å vurdere deres innvirkning og rolle i utdanningen. Meningene er delte. Noen mener teknologien kan finpusse skriveferdigheter, mens andre ser på det som juks. Skoler i California, New York, Virginia og Alabama har blokkert elever fra å få tilgang til den nyeste ChatGPT-modellen på offentlige nettverk, ifølge til Forbes.

Utdanningsavdelinger er ikke helt sikre på hvilke akademiske retningslinjer som bør innføres for å regulere bruken av AI-tekstgeneratorer. Dessuten vil alle regler uansett være vanskelige å håndheve med tanke på at det foreløpig ikke finnes noen effektiv måte å oppdage maskinskrevet arbeid på. Gå inn i Turnitin. Grunnlagt i 1998, selger det amerikanske selskapet programvare som beregner hvor lik et bestemt essay er sammenlignet med innhold fra en stor database med artikler, nettsider og bøker for å se etter tegn på plagiat.

Turnitin ble kjøpt opp av mediegiganten Advanced Publications for 1.75 milliarder dollar i 2019, og programvaren har blitt brukt av 15,000 140 institusjoner i XNUMX land. Med over to tiår med erfaring har Turnitin en bred rekkevidde innen utdanning og har samlet et enormt lager av studentskriving, noe som gjør det til det ideelle selskapet for å utvikle en akademisk AI-tekstdetektor.

Turnitin har bygd programvaren i stillhet i årevis helt siden utgivelsen av GPT-3, fortalte Annie Chechitelli, produktsjef. Registeret. Hastet med å gi lærere muligheten til å identifisere tekst skrevet av mennesker og datamaskiner har blitt mer intens med lanseringen av den kraftigere etterfølgeren, ChatGPT. Ettersom AI fortsetter å utvikle seg, må universiteter og skoler være i stand til å beskytte akademisk integritet nå mer enn noen gang.

"Hastighet betyr noe. Vi hører fra lærere, bare gi oss noe,” sa Chechitelli. Turnitin håper å lansere sin programvare i første halvdel av dette året. "Det kommer til å være ganske grunnleggende deteksjon først, og så vil vi kaste ut påfølgende hurtigutgivelser som vil skape en arbeidsflyt som er mer handlingsdyktig for lærere." Planen er å gjøre prototypen gratis for sine eksisterende kunder ettersom selskapet samler inn data og tilbakemeldinger fra brukere.

«I begynnelsen ønsker vi egentlig bare å hjelpe bransjen og hjelpe lærere med å få beina under seg og føle seg mer selvsikre. Og for å få så mye bruk vi kan tidlig; det er viktig for å lage et vellykket verktøy. Senere vil vi bestemme hvordan vi skal produsere den, sa hun.

Mønstre i AI-skriving

Selv om tekst generert av AI er overbevisende, er det avslørende tegn som avslører en algoritmes håndverk. Skriften er vanligvis blid og uoriginal; verktøy som ChatGPT gjengir eksisterende ideer og synspunkter og har ikke en tydelig stemme. Noen ganger kan mennesker oppdage AI-generert tekst, men maskiner er mye bedre i jobben.

Turnitins VP for AI, Eric Wang, sa at det er åpenbare mønstre i AI-skriving som datamaskiner kan oppdage. "Selv om det føles menneskelig for oss, [maskiner skriver ved hjelp av] en fundamentalt annen mekanisme. Det er å velge det mest sannsynlige ordet på det mest sannsynlige stedet, og det er en helt annen måte å konstruere språk på [sammenlignet med deg og jeg,» sa han Registeret.

«Vi leser ved å hoppe frem og tilbake med øynene uten å vite det, eller bla frem og tilbake mellom ord, mellom avsnitt, og noen ganger mellom sider. Vi skal bla frem og tilbake. Vi har også en tendens til å skrive med en fremtidig sinnstilstand. Jeg skriver kanskje, og jeg tenker på noe, et avsnitt, en setning, et kapittel; slutten av essayet er i tankene mine knyttet til setningen jeg skriver, selv om setningene mellom nå og da ennå ikke er skrevet.»

ChatGPT har imidlertid ikke denne typen fleksibilitet og kan bare generere nye ord basert på tidligere setninger, forklarte han. Turnitins detektor fungerer ved å forutsi hvilke ord AI er mer sannsynlig å generere i en gitt tekstbit. "Det er veldig tørt statistisk. Mennesker har ikke en tendens til konsekvent å bruke et ord med høy sannsynlighet på steder med høy sannsynlighet, men GPT-3 gjør det, så detektoren vår virkelig peker på det, sa han.

Wang sa at Turnitins detektor er basert på samme arkitektur som GPT-3 og beskrev den som en miniatyrversjon av modellen. "Vi er på mange måter jeg vil [si] bekjempe ild med ild. Det er en detektorkomponent festet til den i stedet for en genereringskomponent. Så det den gjør er at den leser språk på nøyaktig samme måte som GPT-3 leser språk, men i stedet for å spytte ut mer språk, gir det oss en prediksjon om vi synes denne passasjen ser ut som [den er fra] GPT-3.»

Selskapet bestemmer fortsatt hvordan de best skal presentere resultatene fra detektoren til lærere som bruker verktøyet. «Det er en vanskelig utfordring. Hvordan forteller du en instruktør på en liten plass hva de vil se?» sa Chechitelli. De vil kanskje se en prosentandel som viser hvor mye av et essay som ser ut til å være AI-skrevet, eller de vil kanskje ha konfidensnivåer som viser om detektorens prediksjonssikkerhet er lav, middels eller høy for å vurdere nøyaktigheten.

Programvaren er ikke designet med mål om å få ChatGPT utestengt i akademia. Selv om det kan avskrekke elever fra å bruke denne typen verktøy, mener Turnitin at detektoren i stedet vil gjøre det mulig for lærere og elever å stole på hverandre og teknologien. 

"Jeg tror det er et stort skifte i måten vi lager innhold på og måten vi jobber på," sa Wang. "Det gjelder selvfølgelig måten vi lærer på. Vi må tenke langsiktig på hvordan vi underviser. Hvordan lærer vi i en verden hvor denne teknologien eksisterer? Jeg tror det ikke er mulig å putte anden tilbake i flasken. Ethvert verktøy som gir synlighet til bruken av disse teknologiene kommer til å være verdifullt fordi de er de grunnleggende byggesteinene for tillit og åpenhet." ®

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
• kilde: https://go.theregister.com/feed/www.theregister.com/2023/01/23/turnitin_chatgpt_detector/