[發明專利]一種從煙花視頻重建三維煙花的方法

在審

• 申請號: 201811146934.0
• 申請日: 2018-09-29
• 公開（公告）號: CN109461205A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 王莉莉;王志宏;劉鑫達;胡淋毅
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/50
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;成金玉

1.一種從煙花視頻重建三維煙花的方法，其特征在于：包括以下步驟：

(1)利用粒子系統構建一個基于OPENGL和粒子系統的三維煙花的渲染模型，所述渲染模型接受一組表示三維煙花的在各個方向上速度、加速度，以及三維煙花顏色和尺寸隨時間變化情況的參數，渲染出三維煙花；

(2)設置了一個參數生成器，隨機初始化各個方向上速度、加速度，以及三維煙花顏色和尺寸隨時間變化情況的參數，并基于步驟(1)中渲染模型生成若干個三維煙花效果，沿隨機角度投影到攝像機內生成視頻，所述視頻作為訓練集和驗證集，將生成對應的三維煙化效果的參數作為訓練集中訓練數據的標簽，構建神經網絡；神經網絡用于回歸所需參數的損失函數定義為帶權重的均方誤差函數；通過對數據集的訓練，得到一個訓練好的神經網絡；給定一個視頻，該訓練好的神經網絡回歸出步驟(1)中所述的描述三維煙花的在各個方向上速度、加速度，以及煙花顏色和尺寸隨時間變化情況的參數；

所述神經網絡構建如下：首先構建一個卷積神經網絡模型CNN，用來對每一幀擬合一個外圈的圓，即獲取每一幀對應圓的圓心和半徑作為輔助標簽，有些視頻的煙花會在某一幀之后完全消失，對于這些視頻，將沒有任何圖像的幀的輔助標簽全部置為0，以提高訓練的準確度；所述CNN為去除最后的softmax層并加入一個全連接層的inceptionV3模型，作為卷積神經網絡模型；然后構建一個LSTM層，作為循環神經網絡模型，分析幀與幀之間的關系，將所述卷積神經網絡模型輸出層前面的全連接層作為輸入，輸入到LSTM層分析幀與幀之間的關系，使用上述CNN模型得到的輔助標簽作為LSTM的訓練數據，有效的減少訓練的數據量，提高訓練的效率；

對于每一個視頻，分別將原幀和差幀作為輸入傳入整個神經網絡模型中作為兩個不同的分支，然后通過一個全連接層將兩個分支后合并，最后一層的全連接層，用于回歸步驟(1)所述的參數，每個參數作為一個任務，構建出一個多任務學習(Multi-task Learning)的神經網絡模型多任務的神經網絡；

(3)將給定的待驗證視頻作為輸入，通過步驟(2)所述神經網絡進行非線性擬合，得出一組所述的描述花的在各個方向上速度、加速度，以及煙花顏色和尺寸隨時間變化情況的參數，然后將得到的所述參數輸入步驟(1)所述的渲染模型中，即得到重建后的三維煙花。

2.根據權利要求1所述的一種從煙花視頻重建三維煙花的方法，其特征在于：所述步驟(1)具體實現如下：

基于粒子系統構建一個三維煙花的渲染模型，三維煙花的渲染模型模擬煙花爆炸之后，若干粒子從爆炸中心散開；在渲染模型中，給定煙花切面的煙花粒子數量，計算整個粒子系統的煙花粒子數量以及每個煙花粒子的方向；之后對于每一幀，求出第i幀生成的灰燼的尺寸和顏色，通過插值的方法計算粒子運動軌跡上每一點的顏色和尺寸；該三維煙花的渲染模型以煙花粒子的離心初速度，加速度；三維煙花的所有粒子組成的粒子系統在外力作用下的初速度和加速度，以及煙花粒子顏色和尺寸隨時間變化的衰減比率作為三維煙花的渲染模型的參數。

3.根據權利要求2所述的一種從煙花視頻重建三維煙花的方法，其特征在于：所述計算三維煙花的所有粒子組成的粒子系統的煙花粒子數量以及每個煙花粒子的方向的方法如下：

在標準三維空間右手坐標系下，水平向右的為y軸，豎直向上的為z軸，首先根據輸入的切面，即yz軸切面的煙花粒子數量N，計算每個切面煙花粒子與豎直方向即z軸上的夾角theta，然后根據N2＝sin(theta)得出該夾角下的水平面即xy軸平面的煙花粒子數量N2，根據N2計算出每個煙花粒子與y軸的夾角gamma，根據theta和gamma兩個夾角，將煙花粒子的方向換算到球坐標系，單體化后得到最終煙花粒子的方向dir＝(sin(theta)*sin(gamma),cos(theta),sin(theta)*cos(gamma))即為煙花粒子的方向。

4.根據權利要求1或2所述的一種從煙花視頻重建三維煙花的方法，其特征在于：所述步驟(1)中，為了獲取更真實的效果，渲染模型加入了若干隨機擾動因素，所述隨機擾動因素包括給每個煙花粒子的初速度和加速度加入一個隨機的系數，給每個煙花粒子的顏色和尺寸也加上一個隨機的系數，使得不同方向上的煙花粒子的位置，顏色和尺寸略有差異，使得渲染效果更加真實。

5.根據權利要求1所述的一種從煙花視頻重建三維煙花的方法，其特征在于：所述步驟(2)中，卷積神經網絡模型對視頻每一幀擬合圓的過程如下：利用整體-隔離法來分析視頻，煙花粒子的離心速度一致，視頻中每一幀的最外圈煙花粒子近似的在一個圓上，使用圓近似擬合每一幀煙花，圓心代表了三維煙花的所有粒子組成的粒子系統的位置變化情況，半徑代表了每一幀外圈煙花粒子的相對于整個系統中心，即隨著三維煙花的所有粒子組成的粒子系統移動后的煙花爆炸中心的位置。