[發(fā)明專利]一種短視頻分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910540170.1
• 申請(qǐng)日: 2019-06-20
• 公開（公告）號(hào): CN110647903A
• 公開（公告）日: 2020-01-03
• 發(fā)明（設(shè)計(jì)）人: 魏陳超;范俊
• 申請(qǐng)（專利權(quán)）人: 杭州趣維科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00;G06F16/75
• 代理公司: 33283 杭州天昊專利代理事務(wù)所(特殊普通合伙)
• 代理人: 董世博

1.一種短視頻分類方法，其特征在于，包括以下步驟：

網(wǎng)絡(luò)訓(xùn)練，包括選擇BN-Inception構(gòu)建模塊；在學(xué)習(xí)過(guò)程中，Batch Normalization將估計(jì)每個(gè)bach內(nèi)的激活均值和方差，并使用它們將這些激活值轉(zhuǎn)換為標(biāo)準(zhǔn)高斯分布；在用預(yù)訓(xùn)練模型初始化后，凍結(jié)所有Batch Normalization層的均值和方差參數(shù)，但第一個(gè)標(biāo)準(zhǔn)化層除外；在BN-Inception的全局pooling層后添加一個(gè)額外的dropout層；使用小批量隨機(jī)梯度下降算法來(lái)學(xué)習(xí)網(wǎng)絡(luò)參數(shù)；用在ImageNet上預(yù)訓(xùn)練的模型對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行初始化；

網(wǎng)絡(luò)測(cè)試，包括對(duì)待分類的短視頻進(jìn)行等間隔截幀，每個(gè)視頻截取一定幀數(shù)；對(duì)截取的幀，通過(guò)圖像處理，取出一定大小的圖片輸入模型進(jìn)行預(yù)測(cè)，在Softmax之前融合截取的幀和不同流的預(yù)測(cè)分?jǐn)?shù)，最終得出結(jié)果，所述模型通過(guò)如下方式得到：一個(gè)輸入視頻被分為K段，一個(gè)片段從它對(duì)應(yīng)的段中隨機(jī)采樣得到，不同片段的類別得分采用段共識(shí)函數(shù)進(jìn)行融合來(lái)產(chǎn)生段共識(shí)，得到一個(gè)視頻級(jí)的預(yù)測(cè)，然后對(duì)所有模式的預(yù)測(cè)融合產(chǎn)生最終的預(yù)測(cè)結(jié)果。

2.如權(quán)利要求1所述的短視頻分類方法，其特征在于，dropout層的dropout比例設(shè)置：空間流卷積網(wǎng)絡(luò)設(shè)置為0.8，時(shí)間流卷積網(wǎng)絡(luò)設(shè)置為0.7。

3.如權(quán)利要求1所述的短視頻分類方法，其特征在于，所述一個(gè)輸入視頻被分為K段，一個(gè)片段從它對(duì)應(yīng)的段中隨機(jī)采樣得到，不同片段的類別得分采用段共識(shí)函數(shù)進(jìn)行融合來(lái)產(chǎn)生段共識(shí)，得到一個(gè)視頻級(jí)的預(yù)測(cè)，然后對(duì)所有模式的預(yù)測(cè)融合產(chǎn)生最終的預(yù)測(cè)結(jié)果具體包括：

給定一段視頻V，把它按相等間隔分為K段{S₁，S₂，S₃，.......，S_K}，接著，TSN按如下方式對(duì)一系列片段進(jìn)行建模：

TSN(T₁，T₂，......，T_K)＝H(G(F(T₁；W)，F(xiàn)(T₂；W)，......，F(xiàn)(T_K；W)))

其中：(T₁，T₂，......，T_K)代表片段序列，每個(gè)片段T_K從它對(duì)應(yīng)的段S_k中隨機(jī)采樣得到；F(T_k；W)函數(shù)代表采用W作為參數(shù)的卷積網(wǎng)絡(luò)作用于短片段T_k，函數(shù)返回T_k相對(duì)于所有類別的得分；段共識(shí)函數(shù)G結(jié)合多個(gè)短片段的類別得分輸出以獲得他們之間關(guān)于類別假設(shè)的共識(shí)；基于這個(gè)共識(shí)，預(yù)測(cè)函數(shù)H預(yù)測(cè)整段視頻屬于每個(gè)行為類別的概率；結(jié)合標(biāo)準(zhǔn)分類交叉熵?fù)p失，關(guān)于部分共識(shí)的最終損失函數(shù)G的形式為：

其中，C是行為總類別數(shù)，y_i是類別i的標(biāo)定好的真實(shí)數(shù)據(jù)，G_i＝g(F_i(T₁)，...，F(xiàn)_i(T_K))，采用聚合函數(shù)g從所有片段中相同類別的得分中推斷出某個(gè)類別分?jǐn)?shù)G_i，聚合函數(shù)g采用均勻平均法來(lái)表示最終識(shí)別精度。

4.如權(quán)利要求3所述的短視頻分類方法，其特征在于，用標(biāo)準(zhǔn)反向傳播算法，利用多個(gè)片段來(lái)聯(lián)合優(yōu)化模型參數(shù)W，在反向傳播過(guò)程中，模型參數(shù)W關(guān)于損失值L的梯度為：

其中，K是TSN使用的段數(shù)，TSN從整個(gè)視頻中學(xué)習(xí)模型參數(shù)而不是一個(gè)短的片段，通過(guò)對(duì)所有視頻固定K。