[發明專利]高動態范圍十億像素視頻生成方法

有效

• 申請號: 201710958201.6
• 申請日: 2017-10-16
• 公開（公告）號: CN107734271B
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 方璐;劉燁斌;王好謙;袁肖赟;周雅玲
• 申請（專利權）人: 深圳市未來媒體技術研究院;清華大學深圳研究生院
• 主分類號: H04N5/355
• 分類號: H04N5/355;H04N5/235;G06T7/33;G06T3/40
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 王震宇

1.一種高動態范圍十億像素視頻生成方法，其特征在于，包括以下步驟：

S1：搭建包括多個局部視角相機和作為參考相機的一個中心全局相機的多尺度混合相機陣列；

S2：用所述多個局部視角相機進行正常視頻采集，用所述中心全局相機進行變曝光采集，使用不同長度的曝光時間對全局進行多次曝光采樣，獲得不同強度范圍入射光的細節；

S3：對所述中心全局相機得到的變曝光采集到的視頻圖像進行曝光融合，得到全局高動態范圍低時域噪聲的視頻圖像；

S4：對未進行變曝光采集的局部視頻圖像進行預處理，將它們按照設定的比例縮小，比例為中心全局相機的焦距與局部視角相機的焦距的比值，然后利用零均值歸一化互相關匹配找到縮小后圖像在變曝光融合后的全局圖中的位置，然后將最佳匹配塊從全局圖中裁剪出來，并將它放大到與局部視頻圖像同樣大小，作為參考塊；

S5：采用跨分辨率匹配及變換方法對局部視頻圖像進行特征點提取匹配及變換，然后利用圖像分割技術在參考塊上找到縫合線，將局部視頻圖像進行拼接，以得到高動態范圍十億像素視頻；

步驟S3采用基于金字塔變換的多曝光圖像融合，包括以下子步驟：

S31：計算融合指標：采用分塊的方法將圖像分成若干塊，計算每個塊的信息量，包括三個度量因子：對比度、熵以及適度曝光量；

對比度的計算：先將圖像與拉普拉斯算子進行卷積，得到的系數取絕對值即對比度信息；

熵的計算如下：

其中，p(z)是圖像的直方圖數據，L是圖像的灰度級；

適度曝光量的計算如下：

其中，I(x，y)為圖像的歸一化像素值；σ為方差；

S32：生成權重圖：分別計算出每個塊中像素的三個度量因子值后，對相同塊進行加權歸一處理：

將三個度量因子線性組合如下：

w^k(x，y)＝(C^k(x，y)+a)×(S^k(x，y)+b)×(P^k(x，y)+c)

其中k是圖像的序列號，C、S、P分別是對比度、熵和適度曝光量；a、b、c是常數項；

然后將所有多曝光圖像序列中相同位置塊的權重值w^k(x，y)進行歸一化處理得到最終不同曝光圖像相對應的權重圖：

S33：加權平均：將得到的權重圖按照金字塔分解的形式進行分解，得到與原圖拉普拉斯金字塔相同大小和層數的圖像，然后將權重圖的分解圖與原圖像的分解圖進行加權平均，得到最終生成的全局高動態范圍圖：

其中，LP表示拉普拉斯金字塔，i表示分解的層數。

2.如權利要求1所述的十億像素視頻生成方法，其特征在于，步驟S5中，跨分辨率匹配及變換包括以下子步驟：

S51：全局變換迭代：根據步驟S4中用零均值歸一化互相關法計算的局部圖片初始的特征相關性，基于匹配的相關性，計算全局的單應性矩陣H，將位于參考塊上的局部圖進行全局變換。

3.如權利要求2所述的十億像素視頻生成方法，其特征在于，步驟S4中利用零均值歸一化互相關匹配和步驟S51各進行一次迭代，在這兩次的迭代中，零均值歸一化互相關(ZNCC)表示為：

式中，p_l表示局部圖像I_l中的塊，p_r表示全局圖像I_r中的塊，w表示用于ZNCC匹配的圖像塊大小，是p_l的齊次坐標形式，函數π表示基于單應性矩陣H的透視投影變換。

4.如權利要求3所述的十億像素視頻生成方法，其特征在于，在步驟S4中的第一次迭代中，H矩陣初始化為3×3的單位矩陣，使用比較大的第一圖像塊，在步驟S51中的第二次迭代中，使用比較小的第二圖像塊。