Este mod de 'Skyrim VR' muestra cómo la IA puede llevar la inmersión en realidad virtual al siguiente nivel

Este mod de 'Skyrim VR' muestra cómo la IA puede llevar la inmersión en realidad virtual al siguiente nivel

Sello de tiempo: 26 de abril de 2023 11:29 a. M.
Este mod 'Skyrim VR' muestra cómo la IA puede llevar la inmersión en realidad virtual al siguiente nivel: Inteligencia de datos PlatoBlockchain. Búsqueda vertical. Ai.

ChatGPT no es perfecto, pero el popular chatbot de IA tiene acceso a modelos de lenguaje extenso (LLM) significa que puede hacer muchas cosas que no esperarías, como dar a todos los habitantes NPC de Tamriel la capacidad de mantener conversaciones naturales y responder preguntas sobre el mundo de fantasía icónico. Sorprendente, sí. Pero es una mirada profética a cómo los juegos algún día podrían usar la IA para alcanzar nuevas alturas en la inmersión.

YouTuber 'Arte de la máquina' lanzó un video que muestra cómo modificaron la muy querida versión VR de The Elder Scrolls V: Skyrim.

El mod, que aún no está disponible, aparentemente te permite mantener conversaciones con NPC a través de ChatGPT y xVASynth, una herramienta de inteligencia artificial para generar líneas de actuación de voz utilizando voces de videojuegos.

Echa un vistazo a los resultados en la actualización más reciente a continuación:

[Contenido incrustado]

La última versión del proyecto presenta Skyrim secuencias de comandos por primera vez, que según el desarrollador permite la sincronización de labios de voces y el conocimiento de NPC de eventos en el juego. Si bien todavía es un poco rígido, se siente como un gran paso para salir del valle inquietante.

Así es como 'Art from the Machine' describe el proyecto en una publicación reciente de Reddit mostrando su trabajo:

Hace unas semanas publiqué un video que demuestra un script de Python en el que estoy trabajando y que te permite hablar con NPC en Skyrim a través de ChatGPT y xVASynth. Desde entonces, he estado trabajando para integrar este script de Python con las propias herramientas de modificación de Skyrim y he alcanzado algunos hitos interesantes:

Los NPC ahora conocen su ubicación actual y la hora del día. Esto abre muchas posibilidades para que ChatGPT reaccione dinámicamente al mundo del juego en lugar de esperar a que el jugador le dé contexto. Como ejemplo, ya no tengo problemas con los comerciantes que intentan hacer trueques conmigo en el Bannered Mare después de las horas de trabajo. Los NPC también son conscientes de los elementos recogidos por el jugador durante la conversación. Esto significa que si saqueas un cofre, cosechas la piel de un animal o recoges una flor, los NPC podrán comentar estas acciones.

Los NPC ahora están sincronizados con los labios con xVASynth. Obviamente, esto es mucho más natural que las voces flotantes de prueba de concepto que tenía antes. También realicé algunas mejoras en la calidad de vida, como reducir los tiempos de respuesta a ~ 15 segundos y agregar un hechizo para iniciar conversaciones.

Cuando todo está en su lugar, es una experiencia increíblemente surrealista poder sentarse y hablar con estos personajes en realidad virtual. Nada me saca más de la experiencia que escuchar las mismas líneas de voz repetidas, y con esto nunca hay dos respuestas iguales. Todavía queda mucho trabajo por hacer, pero incluso en su estado actual no podría volver a jugar sin esto.

Puede notar que la voz real que indica a los NPC también es bastante robótica, aunque 'Art from the Machine' dice que están usando voz a texto para hablar con el sistema impulsado por ChatGPT 3.5. La voz que se escucha en el video se genera a partir de xVASynth, y luego se conecta durante la edición de video para reemplazar lo que ellos llaman su "voz hostil a la radio".

¿Y cuándo puedes descargar y jugar por ti mismo? Bueno, el desarrollador dice que publicar su proyecto sigue siendo un tema complicado.

“Realmente no he pensado en cómo publicar esto, así que creo que tendré que profundizar en otros proyectos de ChatGPT para ver cómo otros han abordado el problema de la clave API. Espero que sea posible conectarse alternativamente a un modelo LLM ejecutado localmente para cualquier persona que no esté interesada en pagar las tarifas de la API".

Ofrecer respuestas NPC más naturales también es un área que debe abordarse, dice el desarrollador.

Por ahora lo tengo configurado para que los NPC digan "déjame pensar" para indicar que me han escuchado y la respuesta está en proceso de generarse, pero tienes razón, esto se puede expandir para elegir entre algunos rellenos diferentes. líneas en lugar de repetir la misma cada vez.

Y aunque el video se acelera notablemente después de las indicaciones, esto se debe principalmente al software de generación de voz. xVASynth, que sin duda ralentiza la canalización de respuesta, ya que se ejecuta localmente. ChatGPT en sí no afecta el rendimiento, dice el desarrollador.

Este no es el primer proyecto que vemos usando chatbots para enriquecer las interacciones de los usuarios. Lee Vermeulen, pionero y desarrollador de realidad virtual desde hace mucho tiempo detrás modbox, lanzó un video en 2021 mostrando una de sus primeras pruebas usando OpenAI GPT 3 y el software de actuación de voz Réplica. En el video de Vermeulen, habla sobre cómo estableció parámetros para cada NPC, brindándoles el conjunto de conocimientos que deberían tener, todo lo cual guía el tipo de respuestas que darán.

Mira el video de Vermeulen a continuación, el mismo que inspiró a 'Art from the Machine' para comenzar a trabajar en el Skyrim VR modificación:

[Contenido incrustado]

Como te puedes imaginar, esto es solo la punta del iceberg para las interacciones NPC impulsadas por IA. Ser capaz de hablar naturalmente con los NPC, aunque sea un poco tartamudo y no exactamente a nivel humano, puede ser preferible a tener que navegar a través de una tonelada de menús de texto en 2D o seguir tutoriales lentos y desgarbados. También ofrece la oportunidad de vincularse más con su fiel compañero de IA, como De Skyrim lidia o Fallout 4 de Nick Valentine, quien en lugar de ofrecer diálogos enlatados podría, ya sabes, ayudarte de vez en cuando.

Y eso es realmente solo el nivel superficial que un mod como 'Art from the Machine' podría ofrecer a los juegos existentes que no está construido con NPC impulsados ​​​​por IA. Imaginar un juego que en realidad se basa en tu capacidad para hacer las preguntas correctas y hacer tu propio trabajo de detective, bueno, ese es un juego de rol que nunca antes habíamos experimentado, ya sea en realidad virtual o de otra manera.

Sello de tiempo:

Mas de Camino a la realidad virtual