[發(fā)明專(zhuān)利]一種基于深度神經(jīng)網(wǎng)絡(luò)的幀間預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810798399.0
• 申請(qǐng)日: 2018-07-19
• 公開(kāi)（公告）號(hào): CN108833925B
• 公開(kāi)（公告）日: 2020-09-11
• 發(fā)明（設(shè)計(jì)）人: 范曉鵬;王洋;趙德斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類(lèi)號(hào): H04N19/573
• 分類(lèi)號(hào): H04N19/573;H04N19/587;H04N19/61
• 代理公司: 哈爾濱市陽(yáng)光惠遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 23211
• 代理人: 安琪

本發(fā)明提出了一種混合視頻編解碼系統(tǒng)中基于深度神經(jīng)網(wǎng)絡(luò)的幀間預(yù)測(cè)方法，屬于幀間預(yù)測(cè)技術(shù)領(lǐng)域。所述方法通過(guò)借助當(dāng)前塊和參考?jí)K的周?chē)噜徬袼兀蒙疃壬窠?jīng)網(wǎng)絡(luò)獲得一個(gè)更準(zhǔn)確的預(yù)測(cè)塊，從而使幀間預(yù)測(cè)性能得到提升。本發(fā)明的有益特點(diǎn)為，區(qū)別于基于傳統(tǒng)幀間預(yù)測(cè)方法，本發(fā)明是基于深度神經(jīng)網(wǎng)絡(luò)的方法；區(qū)別于現(xiàn)有的僅針對(duì)于混合視頻編解碼系統(tǒng)中圖像塊本身作為輸入的深度神經(jīng)網(wǎng)絡(luò)方法，本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)輸入是多個(gè)輸入，包含非方形區(qū)域，這是區(qū)別于普通卷積神經(jīng)網(wǎng)絡(luò)的貢獻(xiàn)所在。

技術(shù)領(lǐng)域

本發(fā)明涉及一種混合視頻編解碼系統(tǒng)中基于深度神經(jīng)網(wǎng)絡(luò)的幀間預(yù)測(cè)方法，屬于幀間預(yù)測(cè)技術(shù)領(lǐng)域。

背景技術(shù)

隨著便攜設(shè)備以及自媒體的快速發(fā)展，視頻編碼相關(guān)的應(yīng)用正在快速發(fā)展并逐漸走向成熟，比如短視頻分享、視頻通話(huà)、互聯(lián)網(wǎng)直播、電視廣播、等等。幀間預(yù)測(cè)能夠有效地去除視頻的相鄰幀之間的冗余信息，因此提高幀間預(yù)測(cè)的準(zhǔn)確性能夠提高視頻編碼的壓縮性能。

一般情況下，傳統(tǒng)的幀間預(yù)測(cè)算法中，當(dāng)前塊的預(yù)測(cè)值是直接從參考幀直接拷貝或者插值得到的。視頻的相鄰幀存在許多變化，包括亮度變化、漸進(jìn)漸出、模糊等。傳統(tǒng)的一些幀間預(yù)測(cè)算法提出利用編碼塊周?chē)袼貋?lái)處理亮度變化以及利用當(dāng)前塊的相鄰像素和參考?jí)K的相鄰像素來(lái)補(bǔ)償當(dāng)前塊的亮度變化。這些方法都是基于傳統(tǒng)的線(xiàn)性模型來(lái)補(bǔ)償當(dāng)前的編碼塊。傳統(tǒng)幀間預(yù)測(cè)的方法存在準(zhǔn)確性不足的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是為了提高混合視頻編解碼系統(tǒng)中幀間預(yù)測(cè)的準(zhǔn)確性，利用深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，而提出的一種基于深度神經(jīng)網(wǎng)絡(luò)的幀間預(yù)測(cè)方法。本發(fā)明的有益特點(diǎn)為，區(qū)別于基于傳統(tǒng)幀間預(yù)測(cè)方法，本發(fā)明是基于深度神經(jīng)網(wǎng)絡(luò)的方法；區(qū)別于現(xiàn)有的僅針對(duì)于混合視頻編解碼系統(tǒng)中圖像塊本身作為輸入的深度神經(jīng)網(wǎng)絡(luò)方法，本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)輸入是多個(gè)輸入，包含非方形區(qū)域，這是區(qū)別于普通卷積神經(jīng)網(wǎng)絡(luò)的貢獻(xiàn)所在。所采取的技術(shù)方案如下：

一種基于深度神經(jīng)網(wǎng)絡(luò)的幀間預(yù)測(cè)方法，所述方法的過(guò)程為：

步驟一：獲取當(dāng)前塊的左下、左邊、左上、上邊和右上區(qū)域的像素、參考?jí)K以及參考?jí)K的左下、左邊、左上、上邊和右上區(qū)域的像素，所述當(dāng)前塊和參考?jí)K是矩形區(qū)域或非矩形區(qū)域；當(dāng)所述當(dāng)前塊和參考?jí)K是矩形區(qū)域時(shí)，所述當(dāng)前塊和參考?jí)K的尺寸為W*H，W為當(dāng)前塊和參考?jí)K的寬，H為當(dāng)前塊和參考?jí)K的高；

步驟二：將步驟一獲取的當(dāng)前塊的左下、左邊、左上、上邊和右上區(qū)域的像素、參考?jí)K以及參考?jí)K的左下、左邊、左上、上邊和右上區(qū)域的像素輸入到深度神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)獲得當(dāng)前塊和參考?jí)K之間的關(guān)系，或?qū)W習(xí)獲得參考?jí)K和參考?jí)K的左下、左邊、左上、上邊和右上區(qū)域的像素之間的關(guān)系，從而獲得當(dāng)前塊的一個(gè)預(yù)測(cè)塊。

進(jìn)一步地，所述步驟二獲得更準(zhǔn)確的預(yù)測(cè)塊的過(guò)程為：

第一步：將步驟一獲取的當(dāng)前塊的左下、左邊、左上、上邊和右上區(qū)域的像素和參考?jí)K的左下、左邊、左上、上邊和右上區(qū)域的像素輸入到關(guān)系估計(jì)網(wǎng)絡(luò)，獲得一個(gè)關(guān)系塊，關(guān)系塊是指當(dāng)前塊和參考?jí)K之間的關(guān)系，尺寸和當(dāng)前塊一致，因此定義為關(guān)系塊。由于當(dāng)前塊還未獲取，因此關(guān)系塊獲取需要從當(dāng)前塊的左下、左邊、左上、上邊和右上區(qū)域的像素和參考?jí)K的左下、左邊、左上、上邊和右上區(qū)域的像素利用關(guān)系估計(jì)網(wǎng)絡(luò)學(xué)習(xí)得到。關(guān)系估計(jì)網(wǎng)絡(luò)是指用來(lái)獲取關(guān)系塊的深度神經(jīng)網(wǎng)絡(luò)；

第二步：用特征組合網(wǎng)絡(luò)對(duì)步驟一得到的參考?jí)K和第一步得到的關(guān)系塊進(jìn)行特征圖的提取，并將所述提取到的特征圖組合到一起；

第三步：將第二步得到的組合后的特征圖輸入到深度提純網(wǎng)絡(luò)，得到當(dāng)前塊的一個(gè)更準(zhǔn)確的預(yù)測(cè)塊。

進(jìn)一步地，所述步驟二獲得更準(zhǔn)確的預(yù)測(cè)塊的過(guò)程為：

第一步：將步驟一獲取的參考?jí)K和參考?jí)K的左下、左邊、左上、上邊和右上區(qū)域的像素輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)得到參考?jí)K和參考?jí)K的左下、左邊、左上、上邊和右上區(qū)域的像素之間的關(guān)系，所述神經(jīng)網(wǎng)絡(luò)由全連接層、卷積層或者二者的組合來(lái)實(shí)現(xiàn)；