[發(fā)明專利]一種在三維動畫環(huán)境下自動生成動畫電影的裝置及方法

在審

• 申請?zhí)枺?/td>: 202011214850.3
• 申請日: 2020-11-03
• 公開（公告）號: CN113055609A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計）人: 孫林;汪灝泓
• 申請（專利權(quán)）人: TCL科技集團股份有限公司
• 主分類號: H04N5/247
• 分類號: H04N5/247;H04N13/243;G06T13/40
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 朱陽波

本發(fā)明提供一種在三維動畫環(huán)境中自動生成動畫電影的裝置及方法，包括：智能獲取，量化并翻譯用戶的直觀輸入為導(dǎo)演提示；根據(jù)部分導(dǎo)演提示確定3D環(huán)境中的候選攝像機配置；建立包含多個候選攝像機配置的攝像機搜索空間，在不同時間戳下使用候選攝像機配置以拍攝電影場景；根據(jù)部分導(dǎo)演提示優(yōu)化劇本情節(jié)；優(yōu)化攝像機配置序列，稱為剪輯優(yōu)化處理。將剪輯優(yōu)化處理形式化為在圖模型中尋找最小成本路徑的過程，各路徑表示渲染動畫的候選攝影機配置序列，并且將部分導(dǎo)演提示轉(zhuǎn)換為優(yōu)化過程的成本函數(shù)。使用所述攝像機配置序列渲染后的預(yù)覽視頻，用于用戶修改輸入。將用戶最終輸入生成的攝像機配置序列渲染后的視頻，作為剪輯優(yōu)化后的3D動畫電影輸出。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機圖片技術(shù)，尤其涉及基于導(dǎo)演提示的自動攝影。

背景技術(shù)

最近，隨著計算機圖形技術(shù)的興起，虛擬電影制作已成為娛樂行業(yè)中的新興領(lǐng)域。電影制作中，攝像機配置非常耗時并且需要大量該領(lǐng)域的專業(yè)知識，這對于業(yè)余電影制作人來說提高了難度門檻。在嘗試替換這種手動方式時，研究人員在過去的幾十年中一直在嘗試將攝影和剪輯實現(xiàn)自動化或半自動化。自動攝影解決了從三維(3D)動畫環(huán)境自動生成視頻的問題。大多數(shù)現(xiàn)有的自動攝影系統(tǒng)專注于按照現(xiàn)有的電影規(guī)則制作“正確的”攝像機配置序列，從而忽略了用戶與系統(tǒng)進行交互的意愿，因此，現(xiàn)有技術(shù)中自動生成的視頻缺乏多樣性，無法完全滿足用戶的期望或完全表達用戶的個性化的愿景。

根據(jù)導(dǎo)演輸入實現(xiàn)風(fēng)格化使電影獨特。但是，實現(xiàn)風(fēng)格化要求用戶修改精細(xì)的細(xì)節(jié)以實現(xiàn)主觀目標(biāo)。對于將導(dǎo)演的想法嵌入電影制作過程，業(yè)余愛好者的經(jīng)驗有限，因此需要一種工具來實現(xiàn)自動攝影，以反映用戶想法。本公開的方法和系統(tǒng)旨在解決上述一個或多個問題以及其他問題。

發(fā)明內(nèi)容

本公開的一個方面提供了一種在三維動畫環(huán)境中生成視頻的方法，即在三維動畫環(huán)境下自動生成動畫電影的方法。所述方法包括：基于用戶輸入，獲取并翻譯用于制作3D動畫電影的導(dǎo)演提示；根據(jù)所述導(dǎo)演提示確定3D環(huán)境中的攝像機配置；建立包括多個候選攝像機配置的攝像機搜索空間，所述攝像機配置將在不同的時間戳下使用，以根據(jù)所述攝像機配置拍攝所述電影的一個或多個場景；根據(jù)所述攝像機搜索空間和所述導(dǎo)演提示進行剪輯優(yōu)化處理，以獲得剪輯后的視頻。所述剪輯優(yōu)化處理形式化為在圖模型中查找最小成本路徑的過程，所述圖模型中的每條路徑分別描述了一種用于制作電影的候選攝像機配置序列，并且將至少部分導(dǎo)演提示轉(zhuǎn)換為成本函數(shù)。所述剪輯后的視頻作為生成的3D動畫電影輸出。

本公開的另一方面提供了一種在三維動畫環(huán)境中生成視頻的裝置，即在三維動畫環(huán)境下自動生成動畫電影的裝置，包括存儲器和與所述存儲器耦合的處理器。所述處理器用于執(zhí)行：基于用戶輸入，獲取并翻譯用于制作3D動畫電影的導(dǎo)演提示；根據(jù)所述導(dǎo)演提示確定3D環(huán)境中的攝像機配置；建立包括多個候選攝像機配置的攝像機搜索空間，所述攝像機配置將在不同的時間戳下使用，以根據(jù)所述攝像機配置拍攝所述電影的一個或多個場景；根據(jù)所述攝像機搜索空間和所述導(dǎo)演提示進行剪輯優(yōu)化處理，以獲得剪輯后的視頻。所述剪輯優(yōu)化處理形式化為在圖模型中查找最小成本路徑的過程，所述圖模型中的每條路徑分別描述了一種用于制作電影的候選攝像機配置序列，并且將至少部分導(dǎo)演提示轉(zhuǎn)換為成本函數(shù)。所述剪輯后的視頻作為生成的3D動畫電影輸出。

可選地，獲取所述導(dǎo)演提示包括：

提供圖形界面工具以獲取并量化所述導(dǎo)演提示，其中所述圖形界面工具的類型包括：可拖動曲線界面，動作注釋界面，和多項選擇界面。

可選地，所述可拖動曲線界面用于獲取強度相關(guān)參數(shù)，且所述處理器還用于：

對強度曲線上的一點進行拖動操作，所述強度曲線顯示在所述可拖動曲線界面上；

基于所述拖動操作，在所述點周圍調(diào)整強度趨勢；

基于調(diào)整后的所述強度曲線，獲取任意點強度參數(shù)。