[發(fā)明專利]一種視頻編解碼方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110483437.5
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113099228A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 郭克華;申長(zhǎng)春;奎曉燕;劉斌;王凌風(fēng);劉超
• 申請(qǐng)（專利權(quán)）人: 中南大學(xué);手拉手信息技術(shù)有限公司
• 主分類號(hào): H04N19/172
• 分類號(hào): H04N19/172;H04N19/42;H04N19/44;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)沙正奇專利事務(wù)所有限責(zé)任公司 43113
• 代理人: 王娟;馬強(qiáng)

1.一種視頻編解碼方法，其特征在于，包括以下步驟：

S1、分別提取視頻幀序列的3D特征和2D特征；

S2、對(duì)所述3D特征進(jìn)行處理，獲得關(guān)鍵特征；將所述關(guān)鍵特征與所述2D特征按時(shí)間序列疊加，構(gòu)建融合特征；

S3、在時(shí)刻t對(duì)融合特征進(jìn)行編碼，通過(guò)softmax函數(shù)獲得歸一化權(quán)重，將融合特征與歸一化權(quán)重相乘，獲得新的融合特征；

S4、將新的融合特征輸入到長(zhǎng)短期記憶網(wǎng)絡(luò)中，得到關(guān)于所述視頻幀序列的描述句子。

2.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，步驟S1中，利用3D卷積神經(jīng)網(wǎng)絡(luò)提取所述視頻幀序列的3D特征。

3.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，步驟S1中，利用2D卷積神經(jīng)網(wǎng)絡(luò)提取所述視頻幀序列的2D特征。

4.根據(jù)權(quán)利要求3所述的視頻編解碼方法，其特征在于，所述2D卷積神經(jīng)網(wǎng)絡(luò)采用經(jīng)過(guò)ImageNet預(yù)訓(xùn)練的Inception v3網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，所述視頻幀序列獲取方法為：從整段視頻中采樣固定數(shù)量的幀，構(gòu)成所述視頻幀序列。

6.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，步驟S2中，利用由多組N個(gè)柯西分布構(gòu)成的行為濾波器與3D特征進(jìn)行矩陣乘法運(yùn)算，得到關(guān)鍵特征。

7.一種視頻編解碼系統(tǒng)，其特征在于，包括：

第一提取單元，用于提取視頻幀序列的3D特征；

第二提取單元，用于提取視頻幀序列的2D特征；

第三提取單元，用于提取所述3D特征的關(guān)鍵信息；

第一融合單元，用于將所述關(guān)鍵特征與所述2D特征按時(shí)間序列疊加，構(gòu)建融合特征；

第二融合單元，用于在時(shí)刻t對(duì)融合特征進(jìn)行編碼，通過(guò)softmax函數(shù)獲得歸一化權(quán)重，將融合特征與歸一化權(quán)重相乘，獲得新的融合特征；

長(zhǎng)短期記憶網(wǎng)絡(luò)，用于在輸入新的融合特征后，輸出關(guān)于所述視頻幀序列的描述句子。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述第一提取單元為3D卷積神經(jīng)網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，第二提取單元為2D卷積神經(jīng)網(wǎng)絡(luò)。

10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述第三提取單元具體執(zhí)行如下操作：利用由多組N個(gè)柯西分布構(gòu)成的行為濾波器與3D特征進(jìn)行矩陣乘法運(yùn)算，得到關(guān)鍵特征。