[發明專利]一種基于擦除機制的弱監督視頻片段檢索方法和系統

有效

• 申請號: 202110272729.4
• 申請日: 2021-03-12
• 公開（公告）號: CN112685597B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 李昊沅;周楚程
• 申請（專利權）人: 杭州一知智能科技有限公司
• 主分類號: G06F16/732
• 分類號: G06F16/732;G06F16/75;G06F16/783;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

1.一種基于擦除機制的弱監督視頻片段檢索方法，其特征在于，包括如下步驟：

1)針對視頻-查詢語句，獲取查詢語句的語言特征和視頻的幀特征；

2)構建語言感知的雙分支視覺過濾器，利用幀特征和語言特征得到視頻中每一幀的增強模態特征和抑制模態特征，構成增強視頻流和抑制視頻流；

3)構建基于動態擦除機制的雙分支共享候選網絡，包括增強分支和抑制分支；

在所述的增強分支中，根據查詢語句的語言特征和增強視頻流，聚合視頻每一幀的語言特征，得到視頻中每一幀的增強聚合文本表示；將視頻中每一幀的增強模態特征和增強聚合文本表示進行視覺-文本交互，得到視頻中每一幀的增強語言感知幀特征；利用2D片段特征圖獲取視頻中相鄰片段之間的關系，得到視頻片段級別的跨模態特征，產生積極候選片段集合及其候選分數；

在所述的抑制分支中，根據查詢語句的語言特征和抑制視頻流，采用與增強分支相同的方法產生消極候選片段集合及其候選分數；

4)在步驟3)所述的增強分支中引入動態擦除機制，得到視頻中每一幀的擦除后的增強語言感知幀特征；利用擦除后的增強語言感知幀特征計算擦除損失值，并計算擦除后的每一個積極片段的候選分數，與擦除前的候選分數加權求和，作為積極候選片段的最終候選分數；

5)結合消極候選片段的候選分數與積極候選片段的最終候選分數，采用多任務損失對語言感知的雙分支視覺過濾器和基于動態擦除機制的雙分支共享候選網絡進行訓練，得到訓練好的模型；

6)針對待處理的查詢語句和視頻，利用訓練好的模型，結合步驟1)至3)，將增強分支輸出的最高候選分數對應的片段作為最終檢索結果。

2.根據權利要求1所述的一種基于擦除機制的弱監督視頻片段檢索方法，其特征在于，步驟2)所述的語言感知的雙分支視覺過濾器具體為：

2.1)將每一個語言場景視為一個聚類中心，將查詢語句的語言特征Q＝{q_i},1≤i≤n_q投影到每一個聚類中心，通過NetVLAD模型計算語言特征Q＝{q_i},1≤i≤n_q和可訓練的中心向量C＝{c_j},1≤j≤n_c之間的累積殘差，計算公式為：

其中，n_q是查詢語句中的單詞數量，q_i是查詢語句中第i個單詞的語言特征；c_j是第j個聚類中心，n_c是聚類中心的數量，W^c和b^c分別是NetVLAD模型的投影矩陣和偏置；表示第i個單詞的語言特征與n_c個聚類中心相關的系數向量，α_ij是α_i中的第j個元素，表示與第j個聚類中心相關的系數；u_j是語言特征對于第j個聚類中心的累積殘差，用于表示第j個基于場景的語言特征；

2.2)根據累積殘差計算跨模態匹配分數：

將視頻的幀特征表示為V＝{v_i},1≤i≤n_v，其中n_v是視頻中的幀數，v_i為視頻中第i幀的幀特征；和是投影矩陣，b^a是偏置，是行向量，T表示轉置，σ是sigmoid函數，tanh(·)是tanh函數；β_ij∈(0,1)是視頻中第i幀的幀特征和第j個基于場景的語言特征的匹配分數；

2.3)根據步驟2.1)至步驟2.2)，獲得視頻中第i幀的幀特征和所有場景之間的匹配分數，將最大匹配分數作為全局分數計算公式為：

其中，表示視頻中第i幀的幀特征對應所有場景的全局分數；進一步獲得視頻中所有幀特征對應場景的全局分數，表示為

2.4)將全局分數歸一化，計算公式為：

獲得所有幀的歸一化分數利用每一幀對應的歸一化分數來表示該幀與查詢語句之間的關系；

2.5)根據歸一化后的全局分數，分別計算視頻中的每一幀對應的增強模態特征和抑制模態特征，計算公式為：

其中，是視頻中第i幀的增強模態特征，所有幀共同構成增強視頻流是視頻中第i幀的抑制模態特征，所有幀共同構成抑制視頻流