南洋理工推出的VR端3D角色扮演AI系统

产品名称:SOLAMI
产品简介:SOLAMI创新的VR端3D角色扮演AI系统,是南洋理工大学研究团队推出的。支持用户语音和肢体语言与虚拟角色进行沉浸式互动,基于社交视觉-语言-行为模型,提供超越传统文本语音交互的自然交流体验。
详细介绍:

SOLAMI是什么

SOLAMI是创新的VR端3D角色扮演AI系统,是南洋理工大学研究团队推出的。支持用户用语音和肢体语言与虚拟角色进行沉浸式互动,基于社交视觉-语言-行为模型,提供超越传统文本和语音交互的自然交流体验。SOLAMI用端到端的VLA模型驱动,能识别用户的肢体语言,作出响应,支持多种角色互动,如跳舞、玩游戏等。SOLAMI为AI角色扮演游戏带来了新的沉浸式体验。

南洋理工推出的VR端3D角色扮演AI系统

SOLAMI的主要功能

  • 沉浸式互动:用户在VR环境中用语音和肢体语言与3D虚拟角色进行自然互动。
  • 多模态响应:系统够根据用户的语音和动作输入生成相应的角色语音和动作响应。
  • 角色多样性:支持多种角色,包括超级英雄、机器人、二次元角色等,提供丰富的互动体验。
  • 互动游戏:支持与角色进行简单的互动游戏,如剪刀石头布。

SOLAMI的技术原理

  • 社交视觉-语言-行为模型(Social VLA):用端到端的VLA模型,处理用户的语音和动作输入,生成角色的响应。
  • 多模态输入处理:基于Motion Tokenizer和Speech Tokenizer,用户的语音和动作被转换成模型能理解的token。
  • LLM基座:用大型语言模型(LLM)作为基座,处理输入的token,自回归地输出角色的语音和动作token。
  • 动作表示:用户的动作用SMPL-X的3D旋转表示,用VQ-VAE进行编码。
  • 语音处理:用户的语音用RVQ-VAE结构进行编码,用SoundStorm进行解码,实现声音克隆。
  • 训练过程:包括多任务预训练和指令微调训练,让模型学习动作、语音和文本之间的关联,处理多轮多模态对话。

SOLAMI的项目地址

SOLAMI的应用场景

  • 虚拟社交:用户在虚拟环境中与AI角色进行社交互动,模拟真实的对话和非语言交流。
  • 游戏互动:在VR游戏中,作为NPC(非玩家角色),与玩家进行更自然的互动,提升游戏体验。
  • 教育和培训:模拟教师或学生的角色,提供语言学习、社交技能训练等教育场景。
  • 心理治疗:在虚拟现实中模拟治疗师角色,帮助用户进行心理治疗和社交恐惧症的暴露疗法。
  • 娱乐和表演:用户与虚拟歌手、舞者或演员互动,享受沉浸式的娱乐体验。
版权声明:atcat 发表于 2024-12-11 12:00:51。
转载请注明:南洋理工推出的VR端3D角色扮演AI系统 | 86AIGC导航

暂无评论

暂无评论...