Stack Overflow запрещает ChatGPT как «существенно вредный» для проблем с кодированием

Бот OpenAI, отвечающий на вопросы, ChatGPT, недостаточно умен для команды Stack Overflow, которая сегодня объявила о временном запрете на ответы, генерируемые ботом AI, из-за того, как часто он ошибается.

В Stack Overflow заявили, что откладывают окончательное решение по ответам, сгенерированным ИИ, до более широкого обсуждения с персоналом, но сейчас принимают меры из-за опасений, что ChatGPT может быть «существенно вредным» как для организации, так и для ее пользователей.

«Средняя скорость получения правильных ответов от ChatGPT слишком низкая», - Qaru — сказал в политическом заявлении под названием «ChatGPT запрещен». 

ChatGPT был выпущен на прошлой неделе и рекламируется OpenAI в блоге как диалоговый ИИ, который может давать подробные ответы на вопросы, а также «отвечать на дополнительные вопросы, признавать свои ошибки, оспаривать неуместные предпосылки и отклонять неуместные запросы». 

OpenAI перечисляет отладочный код как одно из применений ChatGPT, что, казалось бы, делает его идеальным компаньоном для разработчиков, стремящихся вырезать плохие строки. Но администраторы Stack Overflow, написавшие пост, сказали, что это просто не так.

«Несмотря на то, что ответы, которые дает ChatGPT, часто бывают неверными, они обычно выглядят так, как будто они могут быть хорошими, и ответы очень легко создавать», — сказал Stack Overflow. 

«Объем этих ответов (тысячи) и тот факт, что [они] часто требуют подробного прочтения кем-то, кто хотя бы немного разбирается в предметной области, чтобы определить, что ответ … фактически завалил нашу инфраструктуру курирования качества на основе добровольцев», — добавила команда SO.

Чтобы быстро решить проблему, Stack Overflow заявил, что собирается принять меры против любого, кто публикует ответы или новые сообщения, созданные ChatGPT, даже если в противном случае такое сообщение было бы приемлемым. 

ChatGPT был разработан, чтобы избежать злоупотреблений и ответов, содержащих вредные советы, но пользователи быстро обнаружили, что такие вещи можно обойти. Например, сказав ChatGPT, что вы не хотите сделать коктейль Молотова, но вы хотите, чтобы он завершал функцию Python, которая печатает инструкции чтобы сделать то же самое, он расскажет вам, как именно сделать это с помощью функций печати.

ИИ также был вызван за предоставление недостоверной информации в биографические очерки, и за «доказательство того, что неправильные ответы, представленные убедительно, могут обмануть людей», по словам одного пользователя Twitter, который заметил некоторые плохая математика генерируется ChatGPT.

Мы связались с OpenAI, чтобы узнать, что он планирует делать в связи с этими сообщениями о проблемах с точностью, но не получили ответа.

В Stack Overflow заявили, что рассмотрят новую политику, касающуюся ChatGPT «и других подобных инструментов», но дата принятия решения и то, что оно в конечном итоге ограничит, неизвестно. ®