[發(fā)明專利]一種基于混合相機(jī)陣列的十億像素視頻的生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711278764.7
• 申請(qǐng)日: 2017-12-06
• 公開（公告）號(hào): CN108038893A
• 公開（公告）日: 2018-05-15
• 發(fā)明（設(shè)計(jì)）人: 方璐;劉燁斌;王好謙;袁肖赟;徐志偉
• 申請(qǐng)（專利權(quán)）人: 深圳市未來媒體技術(shù)研究院;清華大學(xué)深圳研究生院
• 主分類號(hào): G06T11/60
• 分類號(hào): G06T11/60;G06T5/50;H04N7/18
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 方艷平

1.一種基于混合相機(jī)陣列的十億像素視頻的生成方法，其特征在于，包括以下步驟：

S1：采用混合相機(jī)陣列進(jìn)行圖像采集，其中所述混合相機(jī)陣列包括至少一個(gè)全局相機(jī)和多個(gè)局部相機(jī)，通過至少一個(gè)所述全局相機(jī)采集得到至少一個(gè)全局圖像，通過多個(gè)所述局部相機(jī)分別采集得到多個(gè)局部圖像；

S2：采用網(wǎng)絡(luò)分類方法查找各個(gè)所述局部圖像在所述全局圖像中的對(duì)應(yīng)圖像塊；

S3：根據(jù)步驟S2查找到的各個(gè)所述局部圖像在所述全局圖像中的對(duì)應(yīng)圖像塊，將各個(gè)所述局部圖像與所述全局圖像進(jìn)行多尺度融合，生成融合圖像，得到十億像素視頻。

2.根據(jù)權(quán)利要求1所述的十億像素視頻的生成方法，其特征在于，所述混合相機(jī)陣列包括一個(gè)全局相機(jī)和多個(gè)局部相機(jī)，其中所述全局相機(jī)設(shè)置在多個(gè)所述局部相機(jī)的中間。

3.根據(jù)權(quán)利要求1所述的十億像素視頻的生成方法，其特征在于，步驟S2具體為：采用跨像素一致性網(wǎng)絡(luò)來查找各個(gè)所述局部圖像在所述全局圖像中的對(duì)應(yīng)圖像塊，其中所述跨像素一致性網(wǎng)絡(luò)包括兩個(gè)膨脹卷積網(wǎng)絡(luò)，每個(gè)所述膨脹卷積網(wǎng)絡(luò)包括6個(gè)膨脹卷積層和1個(gè)1*1的總卷積層。

4.根據(jù)權(quán)利要求3所述的十億像素視頻的生成方法，其特征在于，步驟S2中具體包括：采用雙線性差值方法對(duì)多個(gè)所述局部圖像和所述全局圖像進(jìn)行上采樣后，將所述局部圖像中的任意一個(gè)局部圖像塊選作標(biāo)定過的真實(shí)數(shù)據(jù)，然后計(jì)算所述全局圖像中的各個(gè)全局圖像塊的特征f以及特征映射gi,j，再采用特征內(nèi)積計(jì)算所述局部圖像塊和所述全局圖像塊的匹配程度si,j＝＜f,gi,j＞，將定義為匹配概率，計(jì)算最終的損失函數(shù)為：

L = Σ i , j q i , j logp i , j ]]>

其中，qi,j是真實(shí)數(shù)據(jù)的單熱矩陣；

根據(jù)所述損失函數(shù)找到與所述局部圖像塊相對(duì)應(yīng)的匹配程度最高的所述全局圖像塊，即為所述局部圖像塊在所述全局圖像中的對(duì)應(yīng)圖像塊。

5.根據(jù)權(quán)利要求1所述的十億像素視頻的生成方法，其特征在于，步驟S3具體為：將步驟S2查找到的各個(gè)所述局部圖像在所述全局圖像中的對(duì)應(yīng)圖像塊，放入到超分辨圖像生成網(wǎng)絡(luò)中，進(jìn)行多尺度融合，生成融合圖像，得到十億像素視頻；其中所述超分辨圖像生成網(wǎng)絡(luò)包括全局圖像特征提取模塊、局部圖像特征提取模塊和將全局圖像特征和局部圖像特征融合進(jìn)行超分辨的預(yù)測模塊。

6.根據(jù)權(quán)利要求5所述的十億像素視頻的生成方法，其特征在于，其中全局圖像特征提取模塊包括16個(gè)卷積殘差層和1個(gè)上采樣層。