[發(fā)明專利]一種基于空洞卷積神經(jīng)網(wǎng)絡(luò)的視頻壓縮參考圖像生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110947298.7
• 申請(qǐng)日: 2021-08-18
• 公開（公告）號(hào): CN113810715A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計(jì)）人: 高攀;田皓月;梁棟
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): H04N19/149
• 分類號(hào): H04N19/149;H04N19/154;H04N19/159;G06N3/04;G06N3/08;G06T9/00
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王安琪

1.一種基于空洞卷積神經(jīng)網(wǎng)絡(luò)的視頻壓縮參考圖像生成方法，其特征在于，包括如下步驟：

(1)選取視頻序列的連續(xù)兩幀，對(duì)其進(jìn)行分塊，得到當(dāng)前塊與相對(duì)應(yīng)的參考?jí)K的數(shù)據(jù)對(duì)，將整個(gè)視頻序列按此方法進(jìn)行分塊后得到的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)；

(2)利用空洞卷積設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，將步驟(1)中的訓(xùn)練數(shù)據(jù)放入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，模型訓(xùn)練好后，將其作為參考圖像生成器；

(3)在VVC編碼器進(jìn)行編碼時(shí)，將步驟(2)生成的圖像替換掉原本編碼器參考列表中的參考圖像，讓編碼器在幀間預(yù)測(cè)時(shí)使用步驟(2)生成的圖像做預(yù)測(cè)。

2.如權(quán)利要求1所述的基于空洞卷積神經(jīng)網(wǎng)絡(luò)的視頻壓縮參考圖像生成方法，其特征在于，步驟(1)中，選取視頻序列的連續(xù)兩幀，對(duì)其進(jìn)行分塊，得到當(dāng)前塊與相對(duì)應(yīng)的參考?jí)K的數(shù)據(jù)對(duì)，將整個(gè)視頻序列按此方法進(jìn)行分塊后得到的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)具體為：在進(jìn)行分塊時(shí)，根據(jù)當(dāng)前塊找到前一幀的對(duì)應(yīng)塊位置，計(jì)算當(dāng)前塊的運(yùn)動(dòng)矢量MV；同一目標(biāo)在連續(xù)兩幀中的亮度變化很小，而且其運(yùn)動(dòng)的變化也很小，局部區(qū)域內(nèi)的像素點(diǎn)運(yùn)動(dòng)信息是相同的，借助LK光流法通過反向計(jì)算得到當(dāng)前塊到前一幀對(duì)應(yīng)塊的分?jǐn)?shù)運(yùn)動(dòng)矢量信息。

3.如權(quán)利要求1所述的基于空洞卷積神經(jīng)網(wǎng)絡(luò)的視頻壓縮參考圖像生成方法，其特征在于，步驟(2)中，利用空洞卷積設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，將步驟(1)中的訓(xùn)練數(shù)據(jù)放入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，模型訓(xùn)練好后，將其作為參考圖像生成器具體為：輸入圖像首先經(jīng)過兩個(gè)卷積層，線性整流函數(shù)ReLU作為激活函數(shù)添加到每個(gè)卷積層的后面；在此之后，添加三個(gè)空洞Inception模塊；最終，在網(wǎng)絡(luò)的最后使用一個(gè)卷積層生成最終輸出圖像。

4.如權(quán)利要求3所述的基于空洞卷積神經(jīng)網(wǎng)絡(luò)的視頻壓縮參考圖像生成方法，其特征在于，對(duì)于網(wǎng)絡(luò)中的每一個(gè)“空洞Inception”模塊，使用Inception模塊作為其基本結(jié)構(gòu)，加入空洞卷積，并設(shè)置卷積核的擴(kuò)張率，以調(diào)整空洞的大小；

將整個(gè)網(wǎng)絡(luò)視為一個(gè)映射函數(shù)F，并通過最小化網(wǎng)絡(luò)預(yù)測(cè)塊F(X；θ)和相對(duì)應(yīng)的真實(shí)標(biāo)簽Y之間的損失L(θ)來(lái)學(xué)習(xí)網(wǎng)絡(luò)參數(shù)θ，使用均方誤差MSE作為損失函數(shù)：

其中M為訓(xùn)練樣本的個(gè)數(shù)，m和n分別表示訓(xùn)練數(shù)據(jù)塊的寬度和高度。

5.如權(quán)利要求1所述的基于空洞卷積神經(jīng)網(wǎng)絡(luò)的視頻壓縮參考圖像生成方法，其特征在于，步驟(3)中，在VVC編碼器進(jìn)行編碼時(shí)，將步驟(2)生成的圖像替換掉原本編碼器參考列表中的參考圖像，讓編碼器在幀間預(yù)測(cè)時(shí)使用步驟(2)生成的圖像做預(yù)測(cè)具體為：在VTM編碼器編碼過程中，對(duì)當(dāng)前編碼單元CU進(jìn)行模式?jīng)Q策，VTM將檢查幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)的各種模式，并檢查是否有必要繼續(xù)進(jìn)行CU劃分；之后分別計(jì)算它們的失真，編碼器選擇失真最小的模式作為當(dāng)前CU的預(yù)測(cè)模式；在幀間預(yù)測(cè)模式中，在對(duì)當(dāng)前幀進(jìn)行編碼之前，先構(gòu)造一個(gè)參考圖像列表，該列表會(huì)存儲(chǔ)已編碼幀的重構(gòu)圖像，之后編碼器對(duì)這些候選圖像進(jìn)行迭代搜索，最終選擇圖像中具有預(yù)測(cè)失真最小的塊作為當(dāng)前圖像中編碼塊的參考圖像。