口型同步的技术选型

口型同步决定虚拟人说话是否可信，方案按成本分为三档。

音量包络

用音频振幅驱动张口幅度，实现最简单，适合实时对话。缺点是口型与音素不对应，近景会显得机械。

音素对齐

先用语音识别得到音素时间轴，再映射到口型通道。效果明显更好，代价是增加延迟与算力，适合预生成内容。

神经网络

端到端模型直接由音频预测口型，效果最好，但需要训练数据与推理资源。移动端通常只能跑轻量版本。

选择建议

实时陪伴类产品用包络加轻微噪声，预录视频用音素对齐。不要在实时场景追求影视级口型。