[發明專利]計算機生成的頭部

在審

• 申請號: 201410050837.7
• 申請日: 2014-01-29
• 公開（公告）號: CN103971393A
• 公開（公告）日: 2014-08-06
• 發明（設計）人: J·拉多勒-馬丁內茲;V·P·L·萬;B·斯騰格爾;R·安德森;R·滋波拉
• 申請（專利權）人: 株式會社東芝
• 主分類號: G06T13/40
• 分類號: G06T13/40;G10L21/10
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 楊曉光;于靜

1.一種動畫制作計算機生成頭部的方法，所述頭部具有根據要由頭部輸出的語音動作的嘴部，

所述方法包括：

提供與要由嘴唇動作輸出的語音相關的輸入；

將所述輸入分成聲音單元序列；

為輸入文本選擇表情特性；

使用統計模型將所述聲音單元序列轉換為圖像矢量序列，其中所述模型具有描述將聲音單元與圖像矢量相關的概率分布的多個模型參數，所述圖像矢量包括定義所述頭部的臉部的多個參數；以及

將所述圖像矢量序列輸出為視頻，這樣所述頭部的嘴部動作以用選擇的表情模仿與輸入文本相關聯的語音，

其中將所述選擇的表情中每個概率分布的預定類型的參數表示為相同類型的參數的加權之和，并且其中所用的權重為表情相關的，這樣將所述聲音單元序列轉換為圖像矢量序列包括為所述選擇的表情獲取表情相關權值，其中按簇提供所述參數，并且每個簇包括至少一個子簇，其中為每個簇獲取所述表情相關權值，這樣每個子簇有一個權值。

2.根據權利要求1的方法，其中所述模型進一步配置為將所述聲音單元轉換為語音矢量，其中所述模型具有描述將聲音單元與語音矢量關聯的概率分布的多個模型參數，所述方法進一步包括將所述語音矢量序列輸出為與頭部的嘴唇動作同步的音頻。

3.根據權利要求1的方法，其中所述輸入為被分成聲音單元序列的文本輸入。

4.根據權利要求1的方法，其中所述輸入為語音輸入，該語音輸入被分成聲音單元序列并作為音頻隨頭部的視頻輸出。

5.根據權利要求1的方法，其中每個子簇包括至少一個決策樹，所述決策樹基于關于語言、語音或韻律差異中至少一種的問題。

6.根據權利要求1的方法，其中從不同情緒、口音或說話風格中的至少一種中選擇表情特性。

7.根據權利要求1的方法，其中選擇表情特性包括提供輸入以允許通過所述輸入選擇權重。

8.根據權利要求1的方法，其中選擇表情特性包括從要輸出的語音預測應該使用的權重。

9.根據權利要求1的方法，其中選擇表情特性包括從關于要輸出的語音的外部信息預測應該使用的權重。

10.根據權利要求1的方法，其中選擇表情包括接收包含臉部的視頻輸入，并改變所述權重以模擬所述視頻輸入的臉部的表情特性。

11.根據權利要求1的方法，其中選擇表情特性包括接收包含要輸出的語音的音頻輸入，以及從音頻語音輸入獲得所述權重。

12.根據權利要求1的方法，其中選擇表情特性包括從多個預存的權重集中隨機選擇權重集，其中每個權重集包括用于所有子簇的權重。

13.根據權利要求1的方法，其中所述圖像矢量包括允許從模式的加權之和構建臉部的參數，并且其中所述模式表示臉部或其部分的重建。

14.根據權利要求13的方法，其中所述模式包括表示臉部的形狀和外觀的模式。

15.根據權利要求14的方法，其中相同權重參數用于形狀模式及其對應的外觀模式。

16.根據權利要求13的方法，其中至少一個模式表示臉部的姿態。

17.根據權利要求13的方法，其中多個模式表示臉部區域的變形。

18.根據權利要求13的方法，其中至少一個所述模式表示眨眼。

19.根據權利要求13的方法，其中用固定的形狀和肌理給頭部的靜態特征建模。