[發明專利]領域自適應的視頻分類方法、裝置、設備、介質和產品

在審

• 申請號: 202310431413.4
• 申請日: 2023-04-17
• 公開（公告）號: CN116416562A
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 饒竹一;高圣溥
• 申請（專利權）人: 深圳供電局有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/774;G06V10/40;G06V10/82;G06N3/084;G06N3/047
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 姜曉云

1.一種領域自適應的視頻分類方法，其特征在于，所述方法包括：

獲取源域和至少一個目標域的視頻輸入樣本，基于所述源域視頻輸入樣本的特征進行分類得到初始視頻分類模型；

構建至少兩個私有網絡，獲取所述源域和至少一個目標域的視頻輸入樣本，所述私有網絡用于分別獲取各所述領域視頻輸入樣本的語義無關信息特征；

獲取所述初始視頻分類模型提取的所述源域和至少一個目標域的視頻輸入樣本的特征數據，獲取所述初始視頻分類模型和各私有網絡提取特征的特征分布距離，對所述特征分布距離進行最大化處理并計算最大均值差異，得到公共語義信息特征；

迭代訓練所述初始視頻分類模型和各所述私有網絡，在滿足迭代停止條件時，得到領域通用的目標視頻分類模型，根據所述目標視頻分類模型進行視頻分類。

2.根據權利要求1所述的方法，其特征在于，所述構建至少兩個私有網絡，包括：

獲取所述視頻輸入樣本的背景數據，所述背景數據作為監督信號用于所述私有網絡的重構訓練；

通過所述私有網絡進行各所述領域視頻輸入樣本的重構訓練，得到重構背景數據；

獲取所述背景數據與所述重構背景數據之間的重構損失；

最小化所述重構損失，得到所述語義無關信息特征。

3.根據權利要求2所述的方法，其特征在于，所述私有網絡包括視頻特征提取器和重構網絡，所述通過所述私有網絡進行各所述領域視頻輸入樣本的重構訓練，得到重構背景數據，包括：

基于所述視頻特征提取器得到各所述領域視頻輸入樣本的背景特征；

基于所述重構網絡對所述背景特征重構得到所述重構背景數據；

所述獲取所述背景數據與所述重構背景數據之間的重構損失，包括：

獲取所述背景數據與所述重構背景數據之間的距離；

通過基于距離度量的損失函數和所述距離，計算所述重構損失。

4.根據權利要求1所述的方法，其特征在于，所述初始視頻分類模型包括特征提取器、域判別器和分類器，所述基于所述源域視頻輸入樣本的特征進行分類得到初始視頻分類模型，包括；

通過所述特征提取器獲取所述源域視頻輸入樣本的特征；

通過所述分類器對特征進行分類；

獲取分類損失，所述分類損失用于所述迭代訓練所述初始視頻分類模型和各私有網絡；

所述獲取所述初始視頻分類模型提取的所述源域和至少一個目標域的視頻輸入樣本的特征數據，包括：

通過所述特征提取器得到所述源域和至少一個目標域的視頻輸入樣本的初始特征數據；

根據所述域判別器對所述初始特征數據進行對抗訓練，得到對抗訓練后的目標特征數據；

根據所述分類器得到所述目標特征數據的視頻分類；

獲取所述域判別器的對抗訓練損失，所述對抗訓練損失用于所述迭代訓練所述初始視頻分類模型和各所述私有網絡。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

構建特征來源分類器，根據所述特征來源分類器確定輸入特征的來源標識，其中，所述來源標識用于確定所述輸入特征的來源是初始視頻分類模型或私有網絡；

獲取所述特征來源分類器的來源分類損失，所述來源分類損失用于所述迭代訓練所述初始視頻分類模型和各所述私有網絡。

6.根據權利要求1所述的方法，其特征在于，所述迭代訓練所述初始視頻分類模型和各所述私有網絡，在滿足迭代停止條件時，得到領域通用的目標視頻分類模型，包括：

基于損失函數獲取訓練損失，根據所述訓練損失得到所述迭代停止條件；

根據所述訓練損失反向傳播計算所述損失函數的梯度，更新所述損失函數；

在所述訓練損失穩定的情況下，滿足所述迭代停止條件，得到所述領域通用的目標視頻分類模型。