[發(fā)明專利]基于語義失真度量的視頻編碼的比特分配系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201910286965.4
• 申請日: 2019-04-10
• 公開（公告）號: CN110225342B
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 陳志波;李業(yè);石雋
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: H04N19/136
• 分類號: H04N19/136;H04N19/147;H04N19/196;H04N19/172;H04N19/176;G06N3/04
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 任巖

1.一種基于局域語義失真度量的視頻編碼的比特分配方法，包括：

步驟S100：在語義理解任務(wù)驅(qū)動下，從原始視頻中提取空域和/或時域的關(guān)鍵特征，得到表征視頻不同空域和/或時域內(nèi)容對于語義理解任務(wù)重要性程度的權(quán)重因子的圖，作為重要性圖；其中，所述步驟S100包括：

子步驟S110：基于已經(jīng)訓(xùn)練好的用于語義分析任務(wù)的神經(jīng)網(wǎng)絡(luò)，對原始視頻中的輸入圖像進(jìn)行一次前向傳播計(jì)算；

子步驟S120：從語義分析任務(wù)的神經(jīng)網(wǎng)絡(luò)的輸出端選取某個神經(jīng)元，從該神經(jīng)元的輸出量執(zhí)行一次反向傳播計(jì)算，得到最后一層卷積層特征圖的梯度；

子步驟S130：從子步驟S120得到卷積層特征圖的梯度，經(jīng)過全局平均池化和加權(quán)求和，得到梯度熱度圖；

子步驟S140：從子步驟S120中選取神經(jīng)元的輸出量執(zhí)行一次導(dǎo)向反向傳播計(jì)算，得到輸入圖像的梯度，即導(dǎo)向傳播圖；

子步驟S150：將子步驟S130得到的梯度熱度圖進(jìn)行上采樣操作，使其變成與輸入圖像相同大小，然后將上采樣后的梯度熱度圖與子步驟S140中得到的導(dǎo)向傳播圖相加，得到最終的表征了原始視頻不同空域和/或時域內(nèi)容權(quán)重因子的重要性圖；

步驟S200：接收所述步驟S100提供的視頻在特定語義理解任務(wù)下的重要性圖，為視頻不同區(qū)域和不同幀分配比特，并確定編碼參數(shù)；

步驟S300：接收所述步驟S200確定的編碼參數(shù)，進(jìn)行編碼，同時將編碼后的結(jié)果反饋給比特分配模塊。

2.根據(jù)權(quán)利要求1所述的基于局域語義失真度量的視頻編碼的比特分配方法，其中，所述子步驟S110還包括：在語義理解任務(wù)驅(qū)動下，從原始視頻中提取空域和/或時域的關(guān)鍵特征，得到原始視頻不同空域和/或時域內(nèi)容的權(quán)重因子。

3.根據(jù)權(quán)利要求1所述的基于局域語義失真度量的視頻編碼的比特分配方法，其中，所述子步驟S130還包括：

子分步驟S131：根據(jù)子步驟S120得到卷積層特征圖的梯度，經(jīng)過全局平均池化操作，得到特征圖在每個通道上的權(quán)重：

其中，w_i為特征圖梯度在第i個通道上經(jīng)池化后得到的權(quán)重值；(N，M)分別表示特征圖的寬和高；Grad_i，n，m表示特征圖梯度在第i個通道上坐標(biāo)(n，m)處的取值；

子分步驟S132：根據(jù)子分步驟S131得到的權(quán)重，對最后一個卷積層的特征圖按照通道進(jìn)行加權(quán)求和，得到梯度熱度圖：

其中，Grad_Cam表示得到的梯度熱圖度；F_i表示第i個通道上的特征圖。

4.根據(jù)權(quán)利要求1所述的基于局域語義失真度量的視頻編碼的比特分配方法，其中，所述子步驟S140中的導(dǎo)向反向傳播與普通反向傳播的不同之處經(jīng)過線性整流函數(shù)層時，將前向傳播時線性整流函數(shù)層的輸入和反向傳播時線性整流函數(shù)層的梯度均大于零所對應(yīng)的梯度回傳，定義為：

其中，表示第l層的梯度；F_i^l表示第l層的特征；表示第l+1層的梯度。

5.根據(jù)權(quán)利要求1所述的基于局域語義失真度量的視頻編碼的比特分配方法，其中，所述步驟S100中對于原始視頻的圖像組中的每一張圖像，計(jì)算每一張圖像所有像素重要性因子的平均值，作為該圖像的重要性因子

I_i＝avg(Map_i，n，m)

其中I_i表示第i張圖像的重要性因子，Map_i，n，m表示第i張重要性圖，在位置(n，m)處的重要性因子。

6.根據(jù)權(quán)利要求1所述的基于局域語義失真度量的視頻編碼的比特分配方法，其中，所述步驟S200中對于原始視頻的圖像組的總比特?cái)?shù)，按照每張圖像的重要性因子作為權(quán)重進(jìn)行比特分配，

其中，R_i表示給第i張圖分配的比特?cái)?shù)，N_G表示圖像組中包含圖像的數(shù)目，R_GOP表示圖像組的總比特?cái)?shù)。