2024年开年王炸，OpenAI发布的AI视频模型Sora，能够生成长达一分钟的视频，同时保持视觉质量和对用户提示的遵循。确实给影视行业带来了颠覆性的影响！但是现在的Sora视频更像是电影业初期时的「无声电影」。
短短几天之后，语音初创公司ElevenLabs放大招，直接用AI给Sora经典视频完成了配音。而且所有的配音全部由AI生成，没有一点编辑痕迹。
若想精确地实现「视频-音频」的无缝匹配，则需要LLM在其潜在空间内理解一些「隐式的物理原理」。这个属于视觉-音频联合学习（Audio-Visual Learning）领域。
那么，一个端到端的Transformer需要掌握以下能力，才能正确模拟声波：
- 确定每个物体的种类、材质和空间位置。
- 识别物体间的复杂互动，比如棍子是敲在木头、金属还是鼓面？敲击的速度如何？
- 辨识场景环境，是餐厅、空间站、黄石国家公园还是日本神社？
- 从模型的内存中提取物体及其环境的典型声音模式。
- 应用「软性」的、已学习的物理规则，组合并调整声音模式的参数，或者即时创造全新的声音，类似于游戏引擎中的「程序化音频」。
-
对于复杂场景，模型需要根据物体的空间位置，将多条声音轨道叠加起来。
英伟达高级科学家Jim Fan
当这项技术成熟之后，针对每个人的兴趣爱好，定向即时产生广告视频、小视频，这个能力将让广告投放方疯狂，真正形成了定向轰炸。在未来，可能我们的周围将无时无刻不被各种定向广告视频包围，请千万千万要捂紧你的钱包。
