[發明專利]視頻識別模型訓練方法、裝置、設備以及存儲介質

在審

• 申請號: 202110589375.6
• 申請日: 2021-05-28
• 公開（公告）號: CN113326767A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 吳文灝;趙禹翔
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開提供了一種視頻識別模型訓練方法、裝置、設備、存儲介質以及程序產品，涉及人工智能領域，具體為計算機視覺和深度學習技術，可應用于視頻分析場景下。該方法的一具體實施方式包括：將樣本視頻劃分成多個樣本視頻片段；從樣本視頻片段中采樣部分樣本視頻幀，并輸入至特征提取網絡，得到樣本視頻片段的特征信息；利用動態片段融合模塊對特征信息進行卷積融合，得到融合特征信息，其中，動態片段融合模塊的卷積核隨視頻輸入的不同而變化；將融合特征信息輸入至全連接層，得到樣本視頻的預測類別；基于真實類別標簽與預測類別的差異進行參數調整，得到視頻識別模型。該實施方式提高了視頻識別模型的識別精度。

技術領域

本公開涉及人工智能領域，具體為計算機視覺和深度學習技術，可應用于視頻分析場景下。

背景技術

視頻識別，即輸入一段視頻根據視頻內容對其進行分類。視頻識別是計算機視覺社區中最活躍的研究主題之一。評估視頻識別方法的兩個最重要方面是分類準確性和推理成本。最近視頻識別已經在識別精度上取得了巨大的成功，但是由于龐大的計算成本，它仍然是一項具有挑戰性的任務。

目前針對深度學習相關的方法，提高視頻識別精度的工作主要集中在設計捕獲更高階動作語意的網絡結構上，而輸入網絡的幀通過均勻或隨機間隔采樣獲得。在推理過程中，對得到的片段結果進行平均。該方法在短視頻上效果尚可，但是在擁有更長更豐富信息的長視頻上精度則大打折扣。

發明內容

本公開實施例提出了一種視頻識別模型訓練方法、裝置、設備、存儲介質以及程序產品。

第一方面，本公開實施例提出了一種視頻識別模型訓練方法，包括：將樣本視頻劃分成多個樣本視頻片段，其中，樣本視頻標注有真實類別標簽；從樣本視頻片段中采樣部分樣本視頻幀，并輸入至特征提取網絡，得到樣本視頻片段的特征信息；利用動態片段融合模塊對特征信息進行卷積融合，得到融合特征信息，其中，動態片段融合模塊的卷積核隨視頻輸入的不同而變化；將融合特征信息輸入至全連接層，得到樣本視頻的預測類別；基于真實類別標簽與預測類別的差異進行參數調整，得到視頻識別模型。

第二方面，本公開實施例提出了一種視頻識別方法，包括：獲取待識別視頻；將待識別視頻劃分成多個待識別視頻片段；從待識別視頻片段中采樣部分待識別視頻幀，并輸入至視頻識別模型，得到待識別視頻的類別，其中，視頻識別模型根據第一方面中任一實現方式描述的訓練方法訓練獲得。

第三方面，本公開實施例提出了一種視頻識別模型訓練裝置，包括：劃分模塊，被配置成將樣本視頻劃分成多個樣本視頻片段，其中，樣本視頻標注有真實類別標簽；提取模塊，被配置成從樣本視頻片段中采樣部分樣本視頻幀，并輸入至特征提取網絡，得到樣本視頻片段的特征信息；融合模塊，被配置成利用動態片段融合模塊對特征信息進行卷積融合，得到融合特征信息，其中，動態片段融合模塊的卷積核隨視頻輸入的不同而變化；預測模塊，被配置成將融合特征信息輸入至全連接層，得到樣本視頻的預測類別；調整模塊，被配置成基于真實類別標簽與預測類別的差異進行參數調整，得到視頻識別模型。

第四方面，本公開實施例提出了一種視頻識別裝置，包括：獲取模塊，被配置成獲取待識別視頻；劃分模塊，被配置成將待識別視頻劃分成多個待識別視頻片段；識別模塊，被配置成從待識別視頻片段中采樣部分待識別視頻幀，并輸入至視頻識別模型，得到待識別視頻的類別，其中，視頻識別模型根據第一方面中任一實現方式描述的訓練方法訓練獲得。

第五方面，本公開實施例提出了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行如第一方面中任一實現方式描述的方法，或者執行如第二方面中任一實現方式描述的方法。

第六方面，本公開實施例提出了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，計算機指令用于使計算機執行如第一方面中任一實現方式描述的方法，或者執行如第二方面中任一實現方式描述的方法。