[發明專利]一種基于注意力機制的自適應視頻分類方法及系統

在審

• 申請號: 202010838907.0
• 申請日: 2020-08-19
• 公開（公告）號: CN112084887A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 吉長江
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 高鎮

本申請提供了一種基于注意力機制的自適應視頻分類方法及系統，在本申請提供的方法中，先獲取無監督視頻流作為目標域視頻流；再獲取有有標注的圖像數據和視頻數據作為源域數據集；然后利用預設的領域自適應模型對目標域視頻流和源域數據集進行特征訓練，以輸出目標域視頻流的特征參數；最后基于目標域視頻流的特征參數對目標域視頻流進行分類，生成目標域視頻流的類別標簽。基于本申請提供的基于注意力機制的自適應視頻分類方法及系統，將針對現有模型的缺陷，采用web上的圖像和視頻數據作為源域數據集，增加源域數據的多樣性，并通過注意力機制降低源域數據的噪聲影響，提高分類準確性。

技術領域

本申請涉及視頻分類技術領域，特別是涉及一種基于注意力機制的自適應視頻分類方法及系統。

背景技術

視頻分類是計算機視覺中經過深入研究的問題，是指給定一個視頻片段，對其中包含的內容進行分類，類別通常是動作，場景，物體等，在監視和人機交互等領域具有許多重要的應用。一般采用基于深度學習的方法來進行視頻分類，但是訓練深度神經網絡通常需要大量的帶標記數據集，然而視頻領域的多樣性和人工標注的昂貴性，足夠多的標記數據是難以獲得的，因此無監督的自適應視頻分類方法逐漸成為研究熱點。

目前現有的自適應視頻分類模型對于源域數據的選擇具有一定的局限性，當源域數據和目標域數據差異較大時會降低分類器性能，而且源域數據中噪聲的影響也會使得分類器獲得較差的準確性。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種基于注意力機制的自適應視頻分類方法，包括：

獲取無監督視頻流作為目標域視頻流；

獲取有標注的圖像數據和視頻數據作為源域數據集；

利用預設的領域自適應模型對所述目標域視頻流和源域數據集進行特征訓練，以輸出所述目標域視頻流的特征參數；

基于所述目標域視頻流的特征參數對所述目標域視頻流進行分類，生成所述目標域視頻流的類別標簽。

可選地，所述獲取有標注的圖像數據和視頻數據作為源域數據集，包括：

基于預設網絡數據集分別選取有標注的圖像數據和視頻數據作為源域數據集；

對所述源域數據集進行預處理；其中，預處理包括數據大小的調整和/或視頻幀的提取。

可選地，采用生成對抗網絡作為所述領域自適應模型；

所述生成對抗網絡包括圖像生成對抗網絡和視頻生成對抗網絡；

所述圖像生成對抗網絡包括二維卷積神經網絡模型，所述視頻生成對抗網絡包括三維卷積神經網絡模型。

可選地，所述利用預設的領域自適應模型對所述目標域視頻流和源域數據集進行特征訓練，以輸出所述目標域視頻流的特征參數，包括：

將所述目標域視頻流和所述源域數據集輸入所述二維卷積神經網絡模型進行圖像特征訓練，基于注意力機制分別對所述源域數據集中圖像數據的圖像特征、視頻數據中視頻幀的圖像特征與所述目標域視頻流中視頻幀的圖像特征進行比對，輸出圖像特征比對后的第一權重；

將所述目標域視頻流、所述源域數據集、第一權重輸入所述三維卷積神經網絡模型進行視頻特征訓練，基于注意力機制對所述源域數據集中的視頻數據中視頻幀的視頻特征與所述目標域視頻流中視頻幀的視頻特征進行比對，輸出視頻特征比對后的第二權重，進而輸出所述目標域視頻流的特征參數。

可選地，所述基于所述目標域視頻流的特征參數對所述目標域視頻流進行分類，生成所述目標域視頻流的類別標簽，包括：