[發明專利]一種從煙花視頻重建三維煙花的方法

在審

• 申請號: 201811146934.0
• 申請日: 2018-09-29
• 公開（公告）號: CN109461205A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 王莉莉;王志宏;劉鑫達;胡淋毅
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/50
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;成金玉

本發明涉及一種從煙花視頻重建三維煙花的方法，包括以下步驟：構建一個三維的煙花渲染模型，該模型接受一定的參數作為輸出，生成對應的三維煙花效果；構建一個隨機化參數生成器，利用該模型生成一批視頻作為訓練集和驗證集；從上述訓練集和測試集中，利用神經網絡去對視頻的參數進行回歸；利用上述的神經網絡，對于給定的視頻，學習相應參數并通過煙花渲染模型，得到重建結果。本發明借助目前深度學習的擬合能力，解決了由二維視頻重建三維煙花效果的問題。

技術領域

本發明屬于三維重建技術領域，具體涉及一種從煙花視頻重建三維煙花的方法。

背景技術

三維網格模型作為三維媒體的一個重要載體得到了越來越廣泛的關注與應用，在工業制造、數字娛樂、數字文化遺產、智能城市等方面發揮了重要的作用。近年來，隨著計算機處理能力的提高和三維掃描技術以及視覺重建技術的發展，三維網格模型的獲取變得更加容易和快捷。但是，初始獲得的粗糙模型通常存在各種缺陷，很難直接用于各種計算，通常需要進行去噪，修補，簡化，以及重采樣等處理以滿足應用需求。

目前的光源設置方面，現有的復雜場景，基本上都是人為地去設置光源。隨著采集設備和幾何建模技術的進步，需要處理的三維場景規模越來越大，結構越來越復雜，設置光源也越來越浪費時間。以基于常量時間光線-場景相交計算的大數量光源可見性判定算法研究為例，我們制作的游樂場場景本身有120萬三角形面片，幾百個動態對象，7600個光源，且光源本身有50萬三角形面片。借助3D max這樣的工具，美術人員手工設置7600個光源的位置、顏色等參數花費了兩周多的時間，稍有調整，很多光源位置和運動軌跡需要重新進行設置。所以快速，高效地構建出逼真的光源的算法急需研究。

目前的煙花的模擬使用的技術是粒子系統。粒子系統的研究經過二十多年的發展，在各個方面得到了應用，Reeves W.T于1983年首次提出粒子系統的概念，并用其模擬了火焰、爆炸等效果，還成功地模擬了電影《Star Trek 2：The Wrath ofKhan))中的一系列特技鏡頭。1992年，Loke等人提出了節日焰火的粒子系統繪制算法，采用鏈表數據結構存儲粒子信息，設計了粒子系統繪制引擎(particle system rendering engine)，用粒子衍生的方法表現焰火粒子的軌跡并實現了多種焰火的特殊效果。粒子系統經過二十多年的研究與發展，形成了很多可行的算法和理論，其應用也日益廣泛。Tonnesen總結了前人的工作，將粒子系統分為獨立粒子系統，有固定連接的粒子系統和動態耦合的粒子系統這三類。其中獨立粒子系統是指作用在粒子上的力是相互獨立的、彼此間沒有影響的粒子系統。煙花可以用獨立粒子系統來模擬。

在煙花繪制方面，目前的煙花模型，都是根據先驗知識，估計出煙花的爆炸方程，然后人為地設置一些參數，通過反復的調節，使得模型看起來就像自然的煙花一樣；也有一部分研究是旨在提高煙花樣式的新穎度，呈現出自然界沒有的特殊形狀的煙花，例如數字煙花，或者心形煙花。鮮有模型是通過讀入視頻，分析視頻里面煙花的變換和呈現方式，然后重建出和視頻相似的煙花。渲染煙花大都采用的是粒子系統，但是目前的方法都是制作一個(多個)基本的粒子單元，然后讓這些粒子單元去按照煙花爆炸的物理規律運動。這樣做的好處是簡單，而且繪制速度極快，缺點就是繪制的結果與真實的煙花有一定的差距，煙花的顆粒不能進行任何的形變，給人一種不真實的感覺。

卷積神經網絡廣泛應用于圖像處理，Yann Lecun最早將CNN用于手寫數字識別，并獲得了巨大的成功。卷積神經網絡與普通神經網絡的區別在于，卷積神經網絡包含了一個由卷積層和子采樣層構成的特征抽取器。在CNN的一個卷積層中，通常包含若干個特征平面，每個特征平面由一些矩形排列的神經元組成，同一特征平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網絡的訓練過程中卷積核將學習得到合理的權值。共享權值(卷積核)帶來的直接好處是減少網絡各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化，通常有均值子采樣和最大值子采樣兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。