[發(fā)明專利]一種3D視頻智能多域聯(lián)合預(yù)測編碼方法及裝置

有效

• 申請?zhí)枺?/td>: 202010434088.3
• 申請日: 2020-05-21
• 公開（公告）號(hào): CN111669601B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 雷建軍;石雅南;侯春萍;張宗千;彭勃
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): H04N19/597
• 分類號(hào): H04N19/597;H04N19/147;H04N19/149;H04N19/103;H04N19/50;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

1.一種3D視頻智能多域聯(lián)合預(yù)測編碼方法，其特征在于，所述方法包括以下步驟：

1)獲取多域參考信息：

將當(dāng)前編碼塊的左側(cè)、上方以及左上方在步長范圍內(nèi)的重構(gòu)像素區(qū)域作為空域參考信息；將相鄰幀時(shí)域相關(guān)性的幀間預(yù)測塊作為時(shí)域參考信息，幀間預(yù)測塊為通過3D-HEVC中幀間預(yù)測技術(shù)獲得；將通過視點(diǎn)合成預(yù)測技術(shù)獲得的視點(diǎn)合成預(yù)測塊作為視點(diǎn)間參考信息；

2)構(gòu)建時(shí)空預(yù)測網(wǎng)絡(luò)，以時(shí)空域參考信息為輸入，獲得時(shí)空域預(yù)測結(jié)果；

3)根據(jù)時(shí)空域預(yù)測結(jié)果和視點(diǎn)合成預(yù)測塊構(gòu)建多域聯(lián)合預(yù)測網(wǎng)絡(luò)，獲得最終的多域預(yù)測結(jié)果；

其中，所述以時(shí)空域參考信息為輸入具體為：

從碼流中提取當(dāng)前編碼塊空域相鄰已編碼像素區(qū)域作為空域參考信息，將幀間預(yù)測塊和空域相鄰已編碼像素區(qū)域拼接為一個(gè)完整的方形塊，作為時(shí)空預(yù)測網(wǎng)絡(luò)的輸入；

所述多域聯(lián)合預(yù)測網(wǎng)絡(luò)包括：多參考特征融合模塊，多尺度編碼模塊和重建模塊；

所述多參考特征融合模塊用于實(shí)現(xiàn)時(shí)空域預(yù)測塊和視點(diǎn)合成預(yù)測塊從圖像空間的級(jí)聯(lián)到特性空間的融合；

所述多尺度編碼模塊用于利用不同尺度的特征信息，提取有效特征，包括：多尺度編碼單元，

所述多尺度編碼單元由一個(gè)inception模塊和一個(gè)通道注意力模塊組成；

所述inception模塊用于提取具有多個(gè)卷積層數(shù)量的多個(gè)分支的多尺度特征；

所述通道注意力模塊用于學(xué)習(xí)由inception模塊獲得的特征圖的通道權(quán)重。

2.根據(jù)權(quán)利要求1所述的一種3D視頻智能多域聯(lián)合預(yù)測編碼方法，其特征在于，

所述重建模塊用于獲得特征空間中的殘差信號(hào)，將殘差信號(hào)與多域基礎(chǔ)預(yù)測塊進(jìn)行逐元素相加以獲得最終的多域預(yù)測結(jié)果；

其中，所述多域基礎(chǔ)預(yù)測塊為：對視點(diǎn)合成預(yù)測塊和時(shí)空預(yù)測塊進(jìn)行逐像素相加取平均。

3.根據(jù)權(quán)利要求2所述的一種3D視頻智能多域聯(lián)合預(yù)測編碼方法，其特征在于，所述多域聯(lián)合預(yù)測網(wǎng)絡(luò)的數(shù)學(xué)模型為：

P_md＝f_md(P_ts,P_v|θ_md)+f_ave(P_ts,P_v)

其中，f_md()是一個(gè)非線性映射函數(shù)，f_ave()表示多域基礎(chǔ)預(yù)測，θ_md表示網(wǎng)絡(luò)參數(shù)，P_ts表示時(shí)空預(yù)測塊，P_v表示視點(diǎn)合成預(yù)測塊；

損失函數(shù)為：

其中，n為訓(xùn)練樣本數(shù)量，T表示當(dāng)前編碼塊原始像素值。

4.根據(jù)權(quán)利要求1-3中任一權(quán)利要求所述的一種3D視頻智能多域聯(lián)合預(yù)測編碼方法，其特征在于，當(dāng)標(biāo)志位為1時(shí)，對編碼塊進(jìn)行編碼。

5.一種3D視頻智能多域聯(lián)合預(yù)測編碼裝置，所述裝置包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1所述的方法步驟。