迪士尼也来研究人工智能 将AI用于动画制作 - 潮
分类:家用电器

8月18日消息,迪士尼与卡耐基梅隆大学合作建立的实验室近日发表了一篇论文A Deep Learning Approach for Generalized Speech Animation,利用深度学习的方法,来生成看起来自然的语音动画。这篇论文已被SIGGRAPH2017收录。卡内基梅隆在计算机科学方面的研究名列前茅,而迪士尼有意将计算机科学技术引入动画制作。 他们引入了一种简单而有效的深度学习方法,来自动生成看起来自然的,能够与输入语音同步的语音动画。这种方法使用滑动窗口预测器,可以学习到从音位标签输入序列到嘴型运动的任意非线性映射,能精准捕捉自然动作和可视化的协同发音效果。

金沙城娱乐中心手机版,迪士尼研究院联合几所大学的研究人员撰写的一篇新论文,其描述了一种根据深度学习实现程序语音动画的新方法。该系统可以对人类录音进行采样,并自动生成匹配的口型动画。这种方法的应用范围十分宽广,比如提高动画管道的效率,以及通过实时绘制用户讲话时的虚拟化身口型动画来使社交VR交互更具说服力。

迪斯尼研究院,东安格利亚大学,加利福尼亚理工大学和卡内基梅隆大学的研究人员撰写了题为A Deep Learning Approach for Generalized Speech Animation的论文,其描述了一种已经通过深度学习/神经网络方法进行训练的系统,通过单个扬声器的参考片段(2543句)来教导系统在各种语音单元(音素)期间应该形成的形状及其组合,时长达8小时。

经过训练的系统可用于分析来自任何扬声器的音频,并自动产生相应的口形,然后将其应用于自动语音动画的面部模型。研究人员表示,该系统独立于扬声器,可以近似计算其他语言。

我们使用了一种简单有效的深度学习方法来自动生成与输入语音同步的自然寻像语音动画。我们的方法使用了滑动窗口预测器,其能够准确捕捉自然运动和视觉协同发音,学习从语音标签输入序列到口部运动的任意非线性映射。我们的深度学习方法具有以下几个吸引人的特性:实时运行;需要最少的参数调整;能很好地归纳新颖的输入语音序列;容易编辑出风格化和情感化的语音;以及兼容现有的动画重定向方法。

本文由金沙城娱乐中心手机版发布于家用电器,转载请注明出处:迪士尼也来研究人工智能 将AI用于动画制作 - 潮

上一篇:阿里搞了个天猫小店 金沙城娱乐中心手机版不一 下一篇:没有了
猜你喜欢
热门排行
精彩图文