[發(fā)明專利]基于主角檢測(cè)和光流轉(zhuǎn)換的視頻序列情感識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011591272.5
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112613442A
• 公開(kāi)（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 毛史清
• 申請(qǐng)（專利權(quán)）人: 蘇州元啟創(chuàng)人工智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 蘇州創(chuàng)元專利商標(biāo)事務(wù)所有限公司 32103
• 代理人: 范晴

1.基于主角檢測(cè)和光流轉(zhuǎn)換的視頻序列情感識(shí)別方法，其特征在于，包括以下步驟：

步驟1：定義主角關(guān)鍵幀選取方法，用于提取視頻中有主角出現(xiàn)的關(guān)鍵幀；

步驟2：定義補(bǔ)丁特征提取轉(zhuǎn)換特征矩陣的方法以及構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)，該方法和網(wǎng)絡(luò)分別包括從主角關(guān)鍵幀提取補(bǔ)丁特征并轉(zhuǎn)換成特征矩陣的方法和用于提取深層次主角特征的卷積神經(jīng)網(wǎng)絡(luò)：

步驟3：構(gòu)建光流信息轉(zhuǎn)換模塊以及深度學(xué)習(xí)網(wǎng)絡(luò)，用于將視頻幀中的時(shí)間信息轉(zhuǎn)化為光流信息并構(gòu)成矩陣的光流信息轉(zhuǎn)換模塊和用于提取光流信息特征的卷積神經(jīng)網(wǎng)絡(luò)；

步驟4：構(gòu)建用于融合補(bǔ)丁特征、光流特征以及人工給與的視覺(jué)的音頻特征的特征融合模塊，

步驟5：將經(jīng)過(guò)預(yù)處理的視頻數(shù)據(jù)流以較小的批尺寸送入整體網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用定義好的支持向量機(jī)進(jìn)行答案預(yù)測(cè)，使用均方差檢驗(yàn)網(wǎng)絡(luò)性能，最終使網(wǎng)絡(luò)收斂至最佳狀態(tài)，并保存訓(xùn)練好的模型用于直接使用。

2.根據(jù)權(quán)利要求1所述的基于主角檢測(cè)和光流轉(zhuǎn)換的視頻序列情感識(shí)別方法，其特征在于，步驟1中定義的主角關(guān)鍵幀選取方法的步驟如下：

步驟1.1：使用基于RGB直方圖方法計(jì)算距離，整個(gè)剪輯V的平均RGB直方圖表達(dá)式如下：

其中，F(xiàn)_n是視頻V的第n幀，H(F_i)表示第i幀的RGB直方圖，所以第i幀和第i+1幀之間的曼哈頓距離D表示如下：

D(F_i,F_j)＝|H(F_i)-H(F_j)|

計(jì)算每個(gè)幀與整個(gè)剪輯的平均RGB直方圖之間的距離，然后根據(jù)距離將這些幀從最小到最大排序，可獲得一個(gè)距離列表D，則D＝{D1，D2，...，Dn}；

步驟1.2：提取基于聚類的候選關(guān)鍵幀，獲得k個(gè)候選關(guān)鍵幀列表，一個(gè)n幀的視頻片段表示為如下：

其中，KF_i代表第k個(gè)候選關(guān)鍵幀列表，i表示第i個(gè)聚類中心，KF_i¹是距離最小的幀，m_i是列表中的幀數(shù)；

步驟1.3：根據(jù)每個(gè)聚類中心的主角信息選擇一個(gè)主角關(guān)鍵信息幀，主角關(guān)鍵幀的定義如下：

argmaxcount(f_i)

f_i代表關(guān)鍵幀列表中出現(xiàn)的第i種面孔，出現(xiàn)頻率最高的面孔定義為主角。

3.根據(jù)權(quán)利要求2所述的基于主角檢測(cè)和光流轉(zhuǎn)換的視頻序列情感識(shí)別方法，其特征在于，步驟2中，定義補(bǔ)丁特征提取轉(zhuǎn)換特征矩陣的方法以及構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)的步驟如下：

步驟2.1：從主角關(guān)鍵幀提取補(bǔ)丁特征并轉(zhuǎn)換成特征矩陣的方法，對(duì)于每個(gè)主角關(guān)鍵信息幀，調(diào)整幀大小為10萬(wàn)個(gè)像素的，并在五個(gè)尺度上每四個(gè)像素提取一個(gè)24×24大小的補(bǔ)丁，對(duì)于每個(gè)補(bǔ)丁，提取一個(gè)128維的尺度不變特征變換向量，最后將這些向量拼接在一起成為特征矩陣；

步驟2.2：構(gòu)建用于提取深層次主角特征的卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)由五個(gè)卷積核大小為3×3的卷積層和兩個(gè)全連接層構(gòu)成，其中第一個(gè)和第二個(gè)卷積層、第二個(gè)和第三個(gè)卷積層、第五個(gè)卷積層和第一個(gè)全連接層之間都包含一個(gè)池化層，最后全連接層的輸出大小為4096維度的特征向量。