이 'Skyrim VR' 모드는 AI가 VR 몰입을 다음 단계로 끌어올릴 수 있는 방법을 보여줍니다.

이 'Skyrim VR' 모드는 AI가 VR 몰입을 다음 단계로 끌어올릴 수 있는 방법을 보여줍니다.

타임 스탬프 : 26 년 2023 월 11 일 오전 29:XNUMX
이 'Skyrim VR' 모드는 AI가 어떻게 VR을 PlatoBlockchain 데이터 인텔리전스 수준으로 끌어올릴 수 있는지 보여줍니다. 수직 검색. 일체 포함.

ChatGPT는 완벽하지 않지만 인기 있는 AI 챗봇의 대규모 언어 모델(LLM)에 대한 액세스는 Tamriel의 모든 NPC 거주자에게 자연스러운 대화를 나누고 질문에 답할 수 있는 기능을 제공하는 것과 같이 예상하지 못한 많은 일을 할 수 있음을 의미합니다. 상징적 인 판타지 세계. 예. 그러나 언젠가 게임이 AI를 사용하여 몰입도의 새로운 경지에 도달할 수 있는 방법에 대한 선견지명입니다.

YouTuber '기계로부터의 예술' 많은 사랑을 받는 VR 버전을 어떻게 수정했는지 보여주는 비디오를 공개했습니다. Elder Scrolls V : Skyrim.

아직 사용할 수 없는 이 모드는 표면적으로는 ChatGPT 및 xVA신스, 비디오 게임의 음성을 사용하여 음성 연기 대사를 생성하는 AI 도구입니다.

아래의 최신 업데이트에서 결과를 확인하세요.

[포함 된 콘텐츠]

최신 버전의 프로젝트 소개 스카이 림 개발자는 음성의 립싱크와 게임 내 이벤트의 NPC 인식을 허용한다고 처음으로 스크립팅합니다. 여전히 약간 경직되어 있지만 불쾌한 골짜기를 벗어나기 위한 꽤 큰 발걸음처럼 느껴집니다.

다음은 'Art from the Machine'에서 프로젝트를 설명하는 방법입니다. 최근 레딧 게시물 그들의 작업을 보여줍니다:

몇 주 전에 저는 ChatGPT 및 xVASynth를 통해 Skyrim의 NPC와 대화할 수 있도록 작업 중인 Python 스크립트를 시연하는 비디오를 게시했습니다. 그 이후로 저는 이 Python 스크립트를 Skyrim의 모딩 도구와 통합하기 위해 노력해 왔으며 몇 가지 흥미로운 이정표에 도달했습니다.

이제 NPC는 현재 위치와 시간을 인식합니다. 이를 통해 ChatGPT는 플레이어가 컨텍스트를 제공받기를 기다리지 않고 게임 세계에 동적으로 반응할 수 있는 많은 가능성을 열어줍니다. 예를 들어, 근무 시간 이후에 Bannered Mare에서 나와 물물교환을 시도하는 상점 주인과 더 이상 문제가 없습니다. NPC는 대화 중에 플레이어가 집어든 아이템도 알고 있습니다. 즉, 상자를 약탈하거나 동물 가죽을 수확하거나 꽃을 선택하면 NPC가 이러한 작업에 대해 언급할 수 있습니다.

NPC는 이제 xVASynth와 립싱크됩니다. 이것은 내가 이전에 가졌던 떠들썩한 개념 증명 목소리보다 분명히 훨씬 더 자연스럽습니다. 또한 응답 시간을 ~15초로 줄이고 대화를 시작하는 주문을 추가하는 등 삶의 질을 개선했습니다.

모든 것이 제자리에 있을 때 VR에서 이러한 캐릭터에 앉아서 이야기할 수 있다는 것은 믿을 수 없을 정도로 초현실적인 경험입니다. 같은 반복되는 음성 대사를 듣는 것보다 저를 경험에서 벗어나게 하는 것은 없으며, 이것으로 두 가지 반응은 결코 동일하지 않습니다. 아직 해야 할 일이 많이 남아 있지만, 현재 상태에서도 이것이 없이는 다시 게임을 할 수 없었습니다.

NPC를 유도하는 실제 음성도 상당히 로봇식이라는 것을 알 수 있지만 'Art from the Machine'은 음성-텍스트를 사용하여 ChatGPT 3.5 기반 시스템과 대화한다고 말합니다. 영상에서 들리는 목소리는 xVA신스, 그런 다음 비디오 편집 중에 연결하여 "라디오 비친화적 음성"이라고 부르는 것을 대체합니다.

그리고 언제 다운로드하여 직접 플레이할 수 있습니까? 글쎄, 개발자는 프로젝트를 게시하는 것이 여전히 약간 까다로운 문제라고 말합니다.

“저는 이것을 게시하는 방법에 대해 별로 생각하지 않았으므로 다른 ChatGPT 프로젝트를 조사하여 다른 사람들이 API 키 문제를 어떻게 해결했는지 확인해야 할 것 같습니다. API 비용 지불에 관심이 없는 사람을 위해 로컬에서 실행되는 LLM 모델에 대안으로 연결할 수 있기를 바랍니다.”

보다 자연스러운 NPC 응답을 제공하는 것도 해결해야 할 영역이라고 개발자는 말합니다.

지금은 내가 들었고 응답이 생성되는 과정에 있음을 나타내기 위해 NPC가 "생각해 보자"라고 말하도록 설정했습니다. 매번 같은 것을 반복하는 대신 줄.

그리고 프롬프트 후 비디오 속도가 눈에 띄게 빨라지지만 이는 대부분 음성 생성 소프트웨어로 귀결됩니다. xVA신스, 로컬에서 실행되기 때문에 응답 파이프라인 속도가 느려집니다. ChatGPT 자체는 성능에 영향을 미치지 않는다고 개발자는 말합니다.

사용자 상호 작용을 강화하기 위해 챗봇을 사용한 첫 번째 프로젝트는 아닙니다. 오랜 VR 선구자이자 개발자인 Lee Vermeulen 모드박스, 2021년에 OpenAI GPT 3 및 성우 소프트웨어를 사용한 첫 번째 테스트 중 하나를 보여주는 비디오를 공개했습니다. 레플리카. Vermeulen의 비디오에서 그는 각 NPC에 대한 매개변수를 설정하는 방법에 대해 이야기하고, 그들이 가져야 할 지식 체계를 제공하며, 이 모든 것이 그들이 제공할 응답의 종류를 안내합니다.

아래 Vermeulen의 비디오를 확인하십시오. 'Art from the Machine'에 영감을 주어 스카이 림 VR 모드:

[포함 된 콘텐츠]

상상할 수 있듯이 이것은 AI 기반 NPC 상호 작용에 대한 빙산의 일각에 불과합니다. NPC와 자연스럽게 대화할 수 있는 것은 약간 말더듬이 있고 정확히 인간 수준이 아니더라도 수많은 2D 텍스트 메뉴를 살펴보거나 느리고 볼품없는 튜토리얼을 진행해야 하는 것보다 더 나을 수 있습니다. 또한 다음과 같이 신뢰할 수 있는 AI 동반자와 더 많은 유대감을 형성할 수 있는 기회를 제공합니다. 스카이 림 리디아 또는 낙진 4 미리 준비된 대화를 제공하는 대신 실제로 때때로 당신을 도울 수있는 Nick Valentine.

그리고 그것은 'Art from the Machine'과 같은 모드가 기존 게임에 제공할 수 있는 표면적인 수준에 불과합니다. 있지 않다. AI 기반 NPC로 제작되었습니다. 실제로 올바른 질문을 하고 자신의 탐정 작업을 수행할 수 있는 능력에 기반한 게임을 상상해 보세요. VR에서든 그렇지 않든 이전에 경험한 적이 없는 롤플레잉 게임입니다.

타임 스탬프 :

더보기 VR로가는 길