[發明專利]自動生成視覺內容

在審

• 申請號: 202010130857.0
• 申請日: 2020-02-28
• 公開（公告）號: CN113326386A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 姜炳楠;喬立;崔慶才;陳茜;劉偉
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F16/44
• 分類號: G06F16/44;G06F16/438;G06F16/483;G06F16/33;G06F16/335
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張立達

本公開提供了用于自動生成視覺內容的方法和裝置。可以獲得文本語句。可以生成與所述文本語句對應的結構化數據。可以基于所述結構化數據，從模板庫中選擇模板。可以至少利用所述結構化數據來生成所述模板的配置信息。可以基于所述配置信息，從素材庫中選擇素材。可以通過利用所選擇的素材填充所述模板來生成視覺內容。

背景技術

可以基于文本內容來創作對應的視覺內容，以增強直觀性、可讀性、趣味性等。視覺內容是對文本內容的視覺化呈現，其可以采用圖像、動畫等形式。例如，分鏡(storyboard)是一種常見的視覺內容。通常，可以將視覺內容與相關聯的音頻進行組合，以便生成多媒體內容。例如，動態繪本是一種示例性的多媒體內容，其通過圖像、動畫、聲音等形式來呈現故事，其也可以被稱為動畫繪本、視覺故事書、動態有聲書、可動繪本等。動態繪本可以包括一系列分鏡，這些分鏡是對文本故事中的多個語句的視覺化呈現，動態繪本還可以包括基于文本故事中的語句所生成的一系列音頻，這些音頻隨對應的分鏡一起播放。與文本故事相比，動態繪本可以通過視覺輔助來簡化對文本故事的理解并且更生動地表達故事內容。

發明內容

提供本發明內容以便介紹一組概念，這組概念將在以下的具體實施方式中做進一步描述。本發明內容并非旨在標識所保護主題的關鍵特征或必要特征，也不旨在用于限制所保護主題的范圍。

本公開的實施例提出了用于自動生成視覺內容的方法和裝置。可以獲得文本語句。可以生成與所述文本語句對應的結構化數據。可以基于所述結構化數據，從模板庫中選擇模板。可以至少利用所述結構化數據來生成所述模板的配置信息。可以基于所述配置信息，從素材庫中選擇素材。可以通過利用所選擇的素材填充所述模板來生成視覺內容。

應當注意，以上一個或多個方面包括以下詳細描述以及權利要求中具體指出的特征。下面的說明書及附圖詳細提出了所述一個或多個方面的某些說明性特征。這些特征僅僅指示可以實施各個方面的原理的多種方式，并且本公開旨在包括所有這些方面和其等同變換。

附圖說明

以下將結合附圖描述所公開的多個方面，這些附圖被提供用以說明而非限制所公開的多個方面。

圖1示出了根據實施例的用于自動生成多媒體內容的示例性過程。

圖2示出了根據實施例的基于文本內容所自動生成的視覺內容的實例。

圖3示出了根據實施例的用于自動生成視覺內容的示例性過程。

圖4示出了根據實施例的示例性模板網格。

圖5示出了根據實施例的示例性實體尺寸。

圖6示出了根據實施例的示例性實體位置。

圖7示出了根據實施例的示例性景深。

圖8示出了根據實施例的示例性景深。

圖9示出了根據實施例的示例性定制化模板的可視化呈現。

圖10示出了根據實施例的示例性實體圖像庫。

圖11示出了根據實施例的示例性實體組件圖像庫。

圖12示出了根據實施例的示例性背景圖像庫。

圖13示出了根據實施例的用于自動生成視覺內容的示例性方法的流程圖。

圖14示出了根據實施例的用于自動生成視覺內容的示例性裝置。

圖15示出了根據實施例的用于自動生成視覺內容的示例性裝置。

具體實施方式

現在將參考多種示例性實施方式來討論本公開。應當理解，這些實施方式的討論僅僅用于使得本領域技術人員能夠更好地理解并從而實施本公開的實施例，而并非教導對本公開的范圍的任何限制。