[發明專利]自動生成視覺內容

在審

• 申請號: 202010130857.0
• 申請日: 2020-02-28
• 公開（公告）號: CN113326386A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 姜炳楠;喬立;崔慶才;陳茜;劉偉
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F16/44
• 分類號: G06F16/44;G06F16/438;G06F16/483;G06F16/33;G06F16/335
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張立達

1.一種用于自動生成視覺內容的方法，包括：

獲得文本語句；

生成與所述文本語句對應的結構化數據；

基于所述結構化數據，從模板庫中選擇模板；

至少利用所述結構化數據來生成所述模板的配置信息；

基于所述配置信息，從素材庫中選擇素材；以及

通過利用所選擇的素材填充所述模板來生成視覺內容。

2.如權利要求1所述的方法，其中，

所述結構化數據包括以下至少之一：場景、天氣、時間、實體數量、以及每個實體的實體信息，并且

所述實體信息包括以下至少之一：實體類型、實體名稱、實體性別、實體年齡、實體情感、實體顏色、以及實體動作。

3.如權利要求2所述的方法，其中，

所述實體包括以下至少之一：人、擬人化動物、原始動物、以及物體。

4.如權利要求1所述的方法，其中，所述選擇模板包括：

從所述結構化數據中提取構圖參考信息；以及

利用所述構圖參考信息，從所述模板庫中選擇所述模板，其中，所述模板具有與所述構圖參考信息匹配的構圖配置。

5.如權利要求4所述的方法，其中，

所述構圖參考信息包括以下至少之一：實體數量、實體類型、實體年齡、以及實體動作，并且

所述構圖配置包括以下至少之一：實體位置、實體尺寸、實體朝向、實體順序、景深類型、以及取景位置。

6.如權利要求4所述的方法，其中，

所述模板的配置信息還包括關于所述構圖配置的構圖配置信息。

7.如權利要求1所述的方法，其中，所述選擇模板包括：

從所述結構化數據中提取實體動作；以及

從所述模板庫中選擇與所述實體動作對應的定制化模板。

8.如權利要求1所述的方法，其中，

所述素材庫包括前景圖像庫和背景圖像庫，并且

所述前景圖像庫包括以下至少之一：實體圖像庫；以及實體組件圖像庫，其中，一個或多個實體組件圖像被用于形成實體圖像。

9.如權利要求1所述的方法，其中，

所述素材庫包括動畫庫，所述動畫庫包括多個預先定義的動畫，并且

每個動畫的動畫參數包括以下至少之一：位置、時間、方向、以及頻率。

10.如權利要求9所述的方法，其中，

所述多個預先定義的動畫包括：與預定實體動作對應的定制化動畫。

11.如權利要求1所述的方法，其中，

所述視覺內容是分鏡。

12.如權利要求1所述的方法，還包括：

生成與所述文本語句對應的音頻；以及

通過組合所述視覺內容和所述音頻來生成多媒體內容。

13.一種用于自動生成視覺內容的裝置，包括：

文本語句獲得模塊，用于獲得文本語句；

結構化數據生成模塊，用于生成與所述文本語句對應的結構化數據；

模板選擇模塊，用于基于所述結構化數據，從模板庫中選擇模板；

配置信息生成模塊，用于至少利用所述結構化數據來生成所述模板的配置信息；

素材選擇模塊，用于基于所述配置信息，從素材庫中選擇素材；以及

視覺內容生成模塊，用于通過利用所選擇的素材填充所述模板來生成視覺內容。

14.如權利要求13所述的裝置，其中，

所述結構化數據包括以下至少之一：場景、天氣、時間、實體數量、以及每個實體的實體信息，并且

所述實體信息包括以下至少之一：實體類型、實體名稱、實體性別、實體年齡、實體情感、實體顏色、以及實體動作。