[發(fā)明專利]一種基于自適應(yīng)權(quán)重的雙路協(xié)同學(xué)習(xí)的視頻分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710379016.1
• 申請(qǐng)日: 2017-05-25
• 公開（公告）號(hào): CN107220616B
• 公開（公告）日: 2021-01-19
• 發(fā)明（設(shè)計(jì)）人: 彭宇新;趙韞禛
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

1.一種基于自適應(yīng)權(quán)重的雙路協(xié)同學(xué)習(xí)的視頻分類方法，包括以下步驟：

(1)利用視頻訓(xùn)練樣本，對(duì)預(yù)先使用大規(guī)模圖像數(shù)據(jù)集訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行精細(xì)調(diào)整，從而得到適用于視頻特征學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型，并提取視頻的運(yùn)動(dòng)和靜態(tài)兩種特征；

(2)構(gòu)建運(yùn)動(dòng)-靜態(tài)協(xié)同學(xué)習(xí)模型，由一個(gè)自定義的協(xié)同學(xué)習(xí)層和兩個(gè)全連接層組成，利用步驟(1)中得到的視頻的運(yùn)動(dòng)和靜態(tài)特征作為輸入，通過協(xié)同學(xué)習(xí)層進(jìn)行特征優(yōu)化，并通過全連接層輸出視頻的運(yùn)動(dòng)和靜態(tài)特征對(duì)應(yīng)的預(yù)測(cè)得分；

(3)利用步驟(2)中得到的兩種預(yù)測(cè)得分，通過自適應(yīng)權(quán)重學(xué)習(xí)方法對(duì)于每個(gè)語義類別學(xué)習(xí)不同的融合權(quán)重，得到運(yùn)動(dòng)和靜態(tài)特征對(duì)于不同語義類別所起到作用的權(quán)值，并根據(jù)得到的權(quán)值預(yù)測(cè)視頻所屬的語義類別；

所述自定義的協(xié)同學(xué)習(xí)層通過迭代操作，使兩種特征互相指導(dǎo)學(xué)習(xí)和優(yōu)化；

在時(shí)刻t，利用靜態(tài)特征優(yōu)化運(yùn)動(dòng)特征的公式如下：

其中，H表示網(wǎng)絡(luò)的隱狀態(tài)輸出，W^m、表示網(wǎng)絡(luò)層的權(quán)值，1^T表示全1向量，softmax表示損失函數(shù)，表示視頻的運(yùn)動(dòng)特征，表示t-1時(shí)刻由視頻靜態(tài)特征合成的視頻特征，表示t時(shí)刻由視頻的運(yùn)動(dòng)特征合成的視頻特征，z^m表示由運(yùn)動(dòng)特征學(xué)習(xí)而得到的優(yōu)化系數(shù)，表示每個(gè)視頻幀對(duì)應(yīng)的優(yōu)化系數(shù)，表示每個(gè)視頻幀對(duì)應(yīng)的運(yùn)動(dòng)特征；

在時(shí)刻t+1，利用運(yùn)動(dòng)特征優(yōu)化靜態(tài)特征的公式如下：

其中，W^s、表示網(wǎng)絡(luò)層的權(quán)值，表示視頻的靜態(tài)特征，表示t時(shí)刻由視頻的運(yùn)動(dòng)特征合成的視頻特征，表示t+1時(shí)刻由視頻靜態(tài)特征合成的視頻特征，z^s表示由靜態(tài)特征學(xué)習(xí)而得到的優(yōu)化系數(shù)，表示每個(gè)視頻幀對(duì)應(yīng)的優(yōu)化系數(shù)，表示每個(gè)視頻幀對(duì)應(yīng)的靜態(tài)特征；

步驟(2)中兩個(gè)全連接層將視頻的運(yùn)動(dòng)和靜態(tài)特征連接到損失函數(shù)，從而輸出視頻的預(yù)測(cè)得分；

步驟(3)中的自適應(yīng)權(quán)重學(xué)習(xí)方法利用如下公式得到運(yùn)動(dòng)和靜態(tài)信息對(duì)于不同類別所起到作用的權(quán)值：

arg max P_j-λN_j，

其中P_j約束語義類別類內(nèi)的關(guān)系，N_j約束語義類別類間的關(guān)系，λ表示正負(fù)樣本的平衡參數(shù)，并根據(jù)得到的權(quán)重預(yù)測(cè)視頻所屬的語義類別；P_j和N_j的定義分別是：

其中W_j表示需要學(xué)習(xí)的對(duì)第j個(gè)語義類別的融合權(quán)重；表示第j個(gè)語義類別中的第i個(gè)訓(xùn)練數(shù)據(jù)的得分；J_j表示第j維為1，其他維均為0的列向量；n_j代表第j個(gè)語義類別的訓(xùn)練數(shù)據(jù)的個(gè)數(shù)；n_k表示第k個(gè)語義類別的訓(xùn)練數(shù)據(jù)的個(gè)數(shù)；c表示語義的類別數(shù)目；最終的目標(biāo)函數(shù)為：

通過求解上述目標(biāo)函數(shù)，得到每個(gè)語義類別單獨(dú)的融合權(quán)重；在預(yù)測(cè)視頻的語義類別時(shí)，對(duì)于輸入的兩路視頻特征S_t，通過下面的公式預(yù)測(cè)視頻的語義類別：

2.如權(quán)利要求1所述的方法，其特征在于，步驟(1)中卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程包括兩步，第一步是利用大規(guī)模圖像數(shù)據(jù)集預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，是卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)不斷調(diào)整向訓(xùn)練數(shù)據(jù)擬合的過程；第二步是利用已標(biāo)注的視頻精細(xì)調(diào)整卷積神經(jīng)網(wǎng)絡(luò)模型。

3.如權(quán)利要求2所述的方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)模型，在預(yù)訓(xùn)練過程中利用前向傳播算法和反向傳播算法對(duì)模型中的參數(shù)進(jìn)行學(xué)習(xí)優(yōu)化。

4.如權(quán)利要求2所述的方法，其特征在于，所述精細(xì)調(diào)整卷積神經(jīng)網(wǎng)絡(luò)模型的方法是：首先提取訓(xùn)練視頻的幀和光流，然后采用反向傳播算法進(jìn)一步學(xué)習(xí)；在學(xué)習(xí)過程中，通過控制學(xué)習(xí)參數(shù)，減小底層網(wǎng)絡(luò)的學(xué)習(xí)速度，充分保存遷移過來的豐富底層特征，擴(kuò)大深層網(wǎng)絡(luò)的學(xué)習(xí)速度，使得整個(gè)網(wǎng)絡(luò)較快地適應(yīng)視頻類型檢測(cè)任務(wù)，自動(dòng)調(diào)節(jié)深層神經(jīng)元對(duì)于視頻語義類別的分類能力，以得到適用于視頻特征學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)。