[發(fā)明專利]一種基于注意力機制的自適應視頻分類方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010838907.0
• 申請日: 2020-08-19
• 公開（公告）號: CN112084887A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設計）人: 吉長江
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 高鎮(zhèn)

1.一種基于注意力機制的自適應視頻分類方法，包括：

獲取無監(jiān)督視頻流作為目標域視頻流；

獲取有標注的圖像數據和視頻數據作為源域數據集；

利用預設的領域自適應模型對所述目標域視頻流和源域數據集進行特征訓練，以輸出所述目標域視頻流的特征參數；

基于所述目標域視頻流的特征參數對所述目標域視頻流進行分類，生成所述目標域視頻流的類別標簽。

2.根據權利要求1所述的方法，其特征在于，所述獲取有標注的圖像數據和視頻數據作為源域數據集，包括：

基于預設網絡數據集分別選取有標注的圖像數據和視頻數據作為源域數據集；

對所述源域數據集進行預處理；其中，預處理包括數據大小的調整和/或視頻幀的提取。

3.根據權利要求1所述的方法，其特征在于，采用生成對抗網絡作為所述領域自適應模型；

所述生成對抗網絡包括圖像生成對抗網絡和視頻生成對抗網絡；

所述圖像生成對抗網絡包括二維卷積神經網絡模型，所述視頻生成對抗網絡包括三維卷積神經網絡模型。

4.根據權利要求3所述的方法，其特征在于，所述利用預設的領域自適應模型對所述目標域視頻流和源域數據集進行特征訓練，以輸出所述目標域視頻流的特征參數，包括：

將所述目標域視頻流和所述源域數據集輸入所述二維卷積神經網絡模型進行圖像特征訓練，基于注意力機制分別對所述源域數據集中圖像數據的圖像特征、視頻數據中視頻幀的圖像特征與所述目標域視頻流中視頻幀的圖像特征進行比對，輸出圖像特征比對后的第一權重；

將所述目標域視頻流、所述源域數據集、第一權重輸入所述三維卷積神經網絡模型進行視頻特征訓練，基于注意力機制對所述源域數據集中的視頻數據中視頻幀的視頻特征與所述目標域視頻流中視頻幀的視頻特征進行比對，輸出視頻特征比對后的第二權重，進而輸出所述目標域視頻流的特征參數。

5.根據權利要求1所述的模型，其特征在于，所述基于所述目標域視頻流的特征參數對所述目標域視頻流進行分類，生成所述目標域視頻流的類別標簽，包括：

采用softmax激活函數基于所述目標域視頻流的特征參數對所述目標域視頻流進行分類，生成所述目標域視頻流的類別標簽；

將所述類別標簽添加至所述目標域視頻流。

6.一種基于注意力機制的自適應視頻分類系統(tǒng)，包括：

目標域視頻流獲取模塊，其配置成獲取無監(jiān)督視頻流作為目標域視頻流；

源域數據集生成模塊，其配置成獲取有標注的圖像數據和視頻數據作為源域數據集；

特征參數輸出模塊，其配置成利用預設的領域自適應模型對所述目標域視頻流和源域數據集進行特征訓練，以輸出所述目標域視頻流的特征參數；

類別標簽添加模塊，其配置成基于所述目標域視頻流的特征參數對所述目標域視頻流進行分類，生成所述目標域視頻流的類別標簽。

7.根據權利要求6所述的系統(tǒng)，其特征在于，所述源域數據集生成模塊，還配置成：

基于預設網絡數據集分別選取有標注的圖像數據和視頻數據作為源域數據集；

對所述源域數據集進行預處理；其中，預處理包括數據大小的調整和/或視頻幀的提取。

8.根據權利要求7所述的系統(tǒng)，其特征在于，

采用生成對抗網絡作為所述領域自適應模型；

所述生成對抗網絡包括圖像生成對抗網絡和視頻生成對抗網絡；

所述圖像生成對抗網絡包括二維卷積神經網絡模型，所述視頻生成對抗網絡包括三維卷積神經網絡模型。