[發明專利]領域自適應的視頻分類方法、裝置、設備、介質和產品

在審

• 申請號: 202310431413.4
• 申請日: 2023-04-17
• 公開（公告）號: CN116416562A
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 饒竹一;高圣溥
• 申請（專利權）人: 深圳供電局有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/774;G06V10/40;G06V10/82;G06N3/084;G06N3/047
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 姜曉云

本申請涉及一種領域自適應的視頻分類方法、裝置、設備、介質和產品。方法包括：獲取源域和至少一個目標域的視頻輸入樣本，基于源域視頻輸入樣本的特征進行分類得到初始視頻分類模型；構建至少兩個私有網絡，私有網絡用于分別獲取各領域視頻輸入樣本的語義無關信息特征；獲取初始視頻分類模型提取的源域和至少一個目標域的視頻輸入樣本的特征數據，獲取視頻分類模型和各私有網絡提取特征的特征分布距離，對特征分布距離進行最大化處理并計算最大均值差異，得到公共語義信息特征；迭代訓練初始視頻分類模型和各私有網絡，在滿足迭代停止條件時，得到領域通用的目標視頻分類模型，根據目標視頻分類模型進行視頻分類，有利于提高領域適應性和準確度。

技術領域

本申請涉及計算機技術領域，特別是涉及一種領域自適應的視頻分類方法、裝置、設備、介質和產品。

背景技術

近年來，無監督域自適應引起了大量的研究關注，其目的是通過學習一個領域無關的特征表示，使得在有標注的源域數據集上訓練的模型，在無標注且分布不同的目標域依然保持較好的表現。

在有標注的源域數據集上訓練視頻分類可以得到視頻分類模型，目標域的視頻與源域通常具有不同的特征分布且無標注，在訓練得到的視頻分類模型上無法得到良好的視頻分類效果，因此在視頻分類時需要對不同領域的視頻完成遷移學習。

目前針對不同領域的視頻分類方法，通常是通過領域自適應方法實現，在一個神經網絡中基于對抗學習來學習領域無關的特征表示。對抗學習方法在特征提取網絡中設置帶有梯度反轉層的領域判別器，領域判別器用于判斷提取到特征的領域來源，特征提取器用于學習如何提取到更多公共語義信息來混淆領域判別器。

然而，對于包含大部分與語義無關的干擾信息的視頻數據而言，學習兩個域之間公共的語義信息十分困難，采用傳統的對抗學習匹配樣本級特征分布的領域自適應效果差。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠實現領域自適應的視頻分類方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。

第一方面，本申請提供了一種領域自適應的視頻分類方法。所述方法包括：

獲取源域和至少一個目標域的視頻輸入樣本，基于源域視頻輸入樣本的特征進行分類得到初始視頻分類模型；

構建至少兩個私有網絡，私有網絡用于分別獲取各領域視頻輸入樣本的語義無關信息特征；

獲取初始視頻分類模型提取的源域和至少一個目標域的視頻輸入樣本的特征數據，獲取視頻分類模型和各私有網絡提取特征的特征分布距離，對特征分布距離進行最大化處理并計算最大均值差異，得到公共語義信息特征；

迭代訓練初始視頻分類模型和各私有網絡，在滿足迭代停止條件時，得到領域通用的目標視頻分類模型，根據目標視頻分類模型進行視頻分類。

在其中一個實施例中，構建至少兩個私有網絡，包括：

獲取視頻輸入樣本的背景數據，背景數據作為監督信號用于私有網絡的重構訓練；

通過私有網絡進行各領域視頻輸入樣本的重構訓練，得到重構背景數據；

獲取背景數據與重構背景數據之間的重構損失；

最小化重構損失，得到語義無關信息特征。

在其中一個實施例中，私有網絡包括視頻特征提取器和重構網絡，通過私有網絡進行各領域視頻輸入樣本的重構訓練，得到重構背景數據，包括：

基于視頻特征提取器得到各領域視頻輸入樣本的背景特征；

基于重構網絡對背景特征重構得到重構背景數據；

獲取背景數據與重構背景數據之間的重構損失，包括：