Stack Overflow förbjuder ChatGPT som "väsentligt skadligt" för kodningsproblem

OpenAI:s bot för svar på frågor, ChatGPT, är inte tillräckligt smart för teamet på Stack Overflow, som idag tillkännagav ett tillfälligt förbud mot svar som genereras av AI-boten på grund av hur ofta det är fel.

Stack Overflow sa att det höll tillbaka ett permanent beslut om AI-genererade svar tills efter en större personaldiskussion, men vidtar åtgärder nu på grund av rädsla för att ChatGPT kan vara "avsevärt skadligt" för både organisationen och dess användare.

"Den genomsnittliga andelen av att få korrekta svar från ChatGPT är för låg," Stack Overflow sade i ett policyuttalande med titeln "ChatGPT är förbjudet." 

ChatGPT släpptes förra veckan och utropad av OpenAI i en blogginlägg som en konversations-AI som kan ge detaljerade svar på frågor, såväl som "svara uppföljningsfrågor, erkänna sina misstag, utmana olämpliga lokaler och avvisa olämpliga förfrågningar." 

OpenAI listar felsökningskod som en av ChatGPT:s användningsområden, vilket verkar göra det till en idealisk följeslagare för utvecklare som vill klippa bort dåliga linjer. Men Stack Overflow-administratörerna som skrev inlägget sa att det helt enkelt inte är fallet.

"Medan svaren som ChatGPT producerar har en hög andel felaktiga, ser de vanligtvis ut som att de kan vara bra och svaren är mycket enkla att producera," sa Stack Overflow. 

"Mängden av dessa svar (tusentals) och det faktum att [de] ofta kräver en detaljerad läsning av någon med åtminstone viss ämnesexpertis för att avgöra att svaret ... effektivt har översvämmat vår volontärbaserade kvalitetskuratorinfrastruktur." tillade SO-teamet.

För att lösa problemet snabbt sa Stack Overflow att det kommer att vidta åtgärder mot alla som lägger upp svar eller nya inlägg genererade av ChatGPT, även om ett sådant inlägg annars skulle vara acceptabelt. 

ChatGPT utformades för att undvika missbruk och svar som innehåller skadliga råd, men användare fann snabbt att sådana saker kunde kringgås. Till exempel genom att säga till ChatGPT att du inte vill gör en molotovcocktail, men att du vill att den ska slutföra en Python-funktion som skriver ut instruktioner för att göra detsamma kommer det att berätta exakt hur du gör en via utskriftsfunktioner.

AI:n har också kallats ut för att ha tillhandahållit dålig information biografiska skisser, och för att "bevisa att felaktiga svar som levereras övertygande kan lura människor", enligt en Twitter-användare som såg några dålig matte genererad av ChatGPT.

Vi har kontaktat OpenAI för att ta reda på vad de planerar att göra angående dessa rapporterade noggrannhetsproblem, men vi har inte hört av oss.

Stack Overflow sa att det kommer att väga nya policyer kring ChatGPT "och andra liknande verktyg", men ett beslutsdatum, och vad det i slutändan kommer att begränsa, är okänt. ®