Этот мод «Skyrim VR» показывает, как искусственный интеллект может вывести погружение в виртуальную реальность на новый уровень

Этот мод «Skyrim VR» показывает, как искусственный интеллект может вывести погружение в виртуальную реальность на новый уровень

Отметка времени: 26 апреля 2023 г., 11:29
Этот мод «Skyrim VR» показывает, как искусственный интеллект может вывести погружение в виртуальную реальность на новый уровень обработки данных PlatoBlockchain. Вертикальный поиск. Ай.

ChatGPT не идеален, но доступ популярного чат-бота с искусственным интеллектом к большим языковым моделям (LLM) означает, что он может делать много вещей, которые вы, возможно, не ожидаете, например, дать всем жителям Тамриэля NPC возможность поддерживать естественные разговоры и отвечать на вопросы о культовый фэнтезийный мир. Невероятно, да. Но это пророческий взгляд на то, как игры могут однажды использовать ИИ, чтобы достичь новых высот в погружении.

YouTuber «Искусство из машины» выпустили видео, демонстрирующее, как они модифицировали столь любимую VR-версию The Elder Scrolls V: Скайрим.

Мод, которого пока нет, якобы позволяет вам общаться с неигровыми персонажами через ChatGPT и xVASynth, инструмент искусственного интеллекта для создания реплик озвучки с использованием голосов из видеоигр.

Проверьте результаты в последнем обновлении ниже:

[Встраиваемое содержимое]

Последняя версия проекта представляет Skyrim сценарии впервые, которые, по словам разработчика, позволяют синхронизировать голоса и узнавать NPC о внутриигровых событиях. Несмотря на то, что он все еще немного жесткий, он кажется довольно большим шагом к тому, чтобы выбраться из сверхъестественной долины.

Вот как «Искусство из машины» описывает проект в недавний пост на Reddit демонстрируют свои работы:

Несколько недель назад я опубликовал видео, демонстрирующее скрипт Python, над которым я работаю, который позволяет вам общаться с NPC в Skyrim через ChatGPT и xVASynth. С тех пор я работал над интеграцией этого Python-скрипта с собственными инструментами моддинга Skyrim и достиг нескольких замечательных результатов:

NPC теперь знают свое текущее местоположение и время суток. Это открывает множество возможностей для ChatGPT динамически реагировать на игровой мир, вместо того, чтобы ждать, пока игрок предоставит ему контекст. Например, у меня больше не возникает проблем с продавцами, пытающимися торговать со мной в «Гарцующей кобыле» в нерабочее время. NPC также знают о предметах, подобранных игроком во время разговора. Это означает, что если вы грабите сундук, собираете шкуру животного или срываете цветок, NPC смогут прокомментировать эти действия.

NPC теперь синхронизируются с xVASynth. Это, очевидно, гораздо более естественно, чем плавающие голоса для проверки концепции, которые у меня были раньше. Я также сделал некоторые улучшения качества жизни, такие как сокращение времени отклика до ~ 15 секунд и добавление заклинания для начала разговора.

Когда все на своих местах, это невероятно сюрреалистично — сесть и поговорить с этими персонажами в виртуальной реальности. Ничто так не отвлекает меня от опыта, как прослушивание одних и тех же повторяющихся голосовых реплик, и при этом никогда не бывает двух одинаковых ответов. Предстоит еще много работы, но даже в ее нынешнем состоянии я не могу вернуться к игре без этого.

Вы можете заметить, что фактический голос, подсказывающий NPC, также довольно роботизирован, хотя «Art from the Machine» говорит, что они используют преобразование речи в текст для общения с системой, управляемой ChatGPT 3.5. Голос, слышимый в видео, генерируется xVASynth, а затем подключаются во время редактирования видео, чтобы заменить то, что они называют своим «радионедружественным голосом».

А когда можно будет скачать и поиграть самому? Что ж, разработчик говорит, что публикация их проекта все еще остается сложной проблемой.

«Я действительно не думал о том, как опубликовать это, поэтому я думаю, что мне придется покопаться в других проектах ChatGPT, чтобы увидеть, как другие решают проблему с ключом API. Я надеюсь, что можно альтернативно подключиться к локальной модели LLM для всех, кто не хочет платить за API».

По словам разработчика, предоставление более естественных ответов NPC также является областью, которую необходимо решить.

На данный момент я настроил его так, чтобы NPC говорили «дай подумать», чтобы указать, что меня услышали, и ответ находится в процессе генерации, но вы правы, это можно расширить, чтобы выбрать из нескольких различных наполнителей. строки вместо того, чтобы повторять одну и ту же каждый раз.

И хотя видео заметно ускоряется после подсказок, в основном это связано с программным обеспечением для генерации голоса. xVASynth, что, по общему признанию, замедляет конвейер ответов, поскольку он выполняется локально. По словам разработчика, сам ChatGPT не влияет на производительность.

Это не первый проект, в котором мы видим использование чат-ботов для улучшения взаимодействия с пользователем. Ли Вермюлен, давний пионер и разработчик виртуальной реальности. Модбокс, выпустил видео в 2021 году, демонстрирующее один из его первых тестов с использованием OpenAI GPT 3 и программного обеспечения для озвучивания. Реплика. В видео Вермюлена он рассказывает о том, как он устанавливал параметры для каждого NPC, давая им совокупность знаний, которыми они должны были обладать, и все это определяет, какие ответы они будут давать.

Посмотрите видео Вермюлена ниже, то самое, которое вдохновило «Art from the Machine» начать работу над Skyrim VR мод:

[Встраиваемое содержимое]

Как вы понимаете, это лишь верхушка айсберга взаимодействия с NPC, управляемого ИИ. Возможность естественного общения с NPC, даже если немного заикается и не совсем на человеческом уровне, может быть предпочтительнее, чем необходимость пробираться через тонны текстовых 2D-меню или проходить медленные и неуклюжие обучающие программы. Это также дает возможность больше сблизиться с вашим верным компаньоном ИИ, таким как Скайрима Лидия или Fallout 4-х Ник Валентайн, который вместо того, чтобы предлагать готовые диалоги, на самом деле может, знаете ли, время от времени выручать вас.

И это на самом деле только поверхностный материал, который такой мод, как Art from the Machine, может добавить в существующие игры, которые не построен с помощью NPC, управляемых ИИ. Представьте себе игру, которая на самом деле основана на вашей способности задавать правильные вопросы и выполнять собственную детективную работу — ну, это ролевая игра, которую мы никогда раньше не пробовали, как в виртуальной реальности, так и в других.

Отметка времени:

Больше от Дорога к VR