TeleAI 视频生成大模型是中国电信AI研究院推出的一款先进视频生成工具，采用创新的两阶段生成框架。该模型首先根据用户提供的文本描述绘制分镜头草图，随后基于该草图生成完整视频。TeleAI 确保视频中主体外观的一致性，并在复杂场景和动作之间实现流畅过渡，遵循物理规律和常识，为短剧创作提供了强大的技术支持。

TeleAI 视频生成大模型是什么

TeleAI 视频生成大模型是中国电信AI研究院研发的一款视频生成工具，利用两阶段生成框架：首先将文本描述转化为分镜头草图，然后根据草图生成视频内容。该模型能够确保视频中主体外观的一致性，精确控制动作和外观，从而实现复杂场景与动作的流畅过渡，遵循物理规律与常识。VAST技术在视频生成质量的多个维度上表现优异，尤其在主体一致性和物理规律遵循方面，VBench测试中的人体动作和物体分类均取得满分，为AI短剧创作提供了强有力的技术支撑。

TeleAI 视频生成大模型的主要功能

• 视频生成：根据文本描述自动生成视频内容，确保主体外观的一致性。
• 分镜头绘制：将文本描述转化为包含人物姿势、场景布局等关键信息的分镜头。
• 精确控制：对视频中主体的位置、动作和外观进行精细控制，实现复杂动作的精准模拟。
• 遵循物理规律：确保视频中的动作和物体运动符合物理定律，避免不自然的扭曲变形。
• 多场景连续性：在多个场景之间保持目标主体外观的一致性，实现场景间的流畅转换。

TeleAI 视频生成大模型的技术原理

• VAST技术：该模型采用“VAST（Video As Storyboard from Text）”二阶段视频生成技术，通过文本描述精准构建出包含视频构图、主体位置及人物姿态等信息的“故事板”，进而生成相应的视频内容。
• 外观一致性与动作控制：借助VAST技术，视频生成大模型确保单个或多个主体在各个片段中的外观一致性，实现对复杂动作及交互的精确控制，使角色和物体运动符合物理规律。
• 全栈大模型能力：通过语义、语音、文生图、文生视频等全栈大模型能力，TeleAI打通了短剧及影视制作的各个环节，包括脚本撰写、分镜脚本绘制、视频拍摄及剪辑、配音与音效合成等全流程，显著提高了制作效率，降低成本。

• 二阶段生成框架：通过两阶段生成框架，该模型先绘制分镜，再生成视频，显著提升短剧创作过程的可控性。第一阶段将文字描述转换为一系列分镜，第二阶段基于这些分镜生成视频画面，确保每个动作和场景都准确无误，武打场面既符合物理规律又富有观赏性。

TeleAI 视频生成大模型的应用场景

• 影视制作：生成电影或电视剧的初步剪辑版本，尤其在特效场景制作上，降低实拍成本与风险，提高制作效率。
• 广告行业：根据产品特点快速制作动态广告内容，实现广告创意的快速原型设计与测试，快速适应市场变化。
• 教育与培训：创建模拟场景进行安全教育与应急演练，制作教学视频，如科学实验、历史重现等，提升教育的互动性与趣味性。
• 游戏开发：在游戏开发中，生成游戏内动态剧情与过场动画，帮助设计师快速原型设计，测试游戏剧情与角色互动。
• 新闻与报道：快速生成新闻报道视频，提高新闻制作效率，同时制作新闻背景视频，增强报道的视觉效果与信息传达。