[發(fā)明專利]一種基于特征增強(qiáng)的視頻分類算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010006568.X
• 申請(qǐng)日: 2020-01-03
• 公開（公告）號(hào): CN111209433A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計(jì)）人: 張夢(mèng)超;李永
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06F16/75
• 分類號(hào): G06F16/75;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

1.一種視頻分類方法，其特征在于，包括：

將待分類視頻分為K段；

將所采樣的每一幀通過(guò)預(yù)先訓(xùn)練的圖像處理模型提取每一幀的特征；

在K段中根據(jù)上一步輸出結(jié)果，進(jìn)行特征融合，獲得每一段的綜合特征，

根據(jù)特征融合的結(jié)果進(jìn)行特征增強(qiáng)，增加對(duì)分類重要的特征權(quán)重，同時(shí)減少不重要的特征權(quán)重；

根據(jù)特征增強(qiáng)后的結(jié)果輸入到分類模塊，得到每段的類別；

再通過(guò)特征融合函數(shù)融合K段的分類結(jié)果，最終得到分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：

將視頻分為K段及采樣的方法為：將其分為3段，在每段中隨機(jī)采樣15到20幀左右，或者每隔1s取一次。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：

在采樣后的幀通過(guò)預(yù)先訓(xùn)練的CNN圖像特征提取模型，采用Inception網(wǎng)絡(luò)模型，并將Inception網(wǎng)絡(luò)的降采樣層的輸出作為每一幀圖像的特征，然后再將其輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中，采取LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)的處理單元，最后一個(gè)時(shí)刻的輸出即特征融合后的結(jié)果，過(guò)程如下：

3.1通過(guò)卷積神經(jīng)網(wǎng)絡(luò)CNN提取輸入視頻的空間特征；

設(shè)輸入視頻為X＝{x₁，x₂，…,x_n}，N表示每段輸入視頻的總幀數(shù)，通過(guò)Inception網(wǎng)絡(luò)模型提取，輸入視頻的空間特征為V＝{v₁，v₂，…,v_n}，v_i表示第i幀視頻圖像的特征向量，i＝1,2,…,n；

3.2更新當(dāng)前時(shí)刻LSTM網(wǎng)絡(luò)狀態(tài)；

h_t＝O_tC_t

其中，f_t、i_t、O_t分別表示LSTM網(wǎng)絡(luò)的遺忘門、輸入門和輸出門的計(jì)算結(jié)果，h_t-1和C_t-1分別表示上一時(shí)刻隱藏單元狀態(tài)和記憶單元狀態(tài)，h_t和C_t分別表示當(dāng)前時(shí)刻隱藏單元狀態(tài)和記憶單元狀態(tài)，σ(·)是sigmoid函數(shù)，表達(dá)式為U_t、U_i、U_c，A_f、A_f、A_c，b_i、b_f、b_c分別為待學(xué)習(xí)參數(shù)；計(jì)算每個(gè)時(shí)刻對(duì)應(yīng)的輸出類別進(jìn)行梯度更新，所有參數(shù)采用隨機(jī)初始化方法。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：

在每段中對(duì)應(yīng)的LSTM網(wǎng)絡(luò)每個(gè)時(shí)刻取平均作為特征增強(qiáng)層的輸入，

在每段的特征增強(qiáng)模塊中采用一種注意力機(jī)制來(lái)增加相關(guān)重要的權(quán)重，先初始化一個(gè)權(quán)重矩陣W，b；

Y＝σ(WX+b)☉X

其中,X是輸入特征向量，σ是逐個(gè)元素的sigmoid激活函數(shù)，⊙表示逐個(gè)元素相乘；W和b是可訓(xùn)練的參數(shù)；向量σ(WX+b)代表應(yīng)用于輸入特征X的個(gè)體維度的一組學(xué)習(xí)門；

其中，所述分類模塊采用SoftMax函數(shù)分類器，它將多個(gè)神經(jīng)元的輸出，映射到(0,1)區(qū)間內(nèi)，看成概率來(lái)理解，從而來(lái)進(jìn)行多分類,具體如下：

其中，i表示k的某個(gè)分類，g_i表示該分類的值；

所述每段結(jié)果融合共識(shí)部分采用均勻平均法來(lái)表示，即對(duì)每段n個(gè)結(jié)果的分?jǐn)?shù)求和取平均就是最后的結(jié)果集。