[發明專利]視頻匹配方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010626411.7
• 申請日: 2020-07-02
• 公開（公告）號: CN111666922A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 周康明;戚風亮
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何江濤

1.一種視頻匹配方法，其特征在于，所述方法包括：

將獲取的視頻源輸入至特征提取網絡中進行特征提取，得到所述視頻源中各個視頻幀對應的特征圖和特征向量；所述視頻源包括至少一個視頻幀，每個所述視頻幀中均包括待檢測對象；

將各所述視頻幀對應的特征圖輸入至相似度提取網絡中進行相似度計算，得到所述視頻源中各相鄰兩個視頻幀之間的相似度；

基于各所述相鄰兩個視頻幀之間的相似度，對所述各個視頻幀對應的特征向量進行融合處理，得到所述視頻源對應的融合特征；

根據所述視頻源對應的融合特征和預設的視頻庫，在所述視頻庫中確定與所述視頻源匹配的目標視頻序列；所述目標視頻序列包括至少兩個目標視頻源。

2.根據權利要求1所述的方法，其特征在于，所述相似度提取網絡包括差分子網絡和相似度計算子網絡，所述將各所述視頻幀對應的特征圖輸入至相似度提取網絡中進行相似度計算，得到所述視頻源中各相鄰兩個視頻幀之間的相似度，包括：

將各所述視頻幀對應的特征圖輸入至所述差分子網絡中，對其中的各相鄰兩個視頻幀對應的特征圖進行差分處理，得到各相鄰兩個視頻幀各自對應的差分特征圖；

將所述各相鄰兩個視頻幀各自對應的差分特征圖輸入至所述相似度計算子網絡中進行相似度計算，得到各所述相鄰兩個視頻幀之間的相似度。

3.根據權利要求2所述的方法，其特征在于，所述對其中的各相鄰兩個視頻幀對應的特征圖進行差分處理，得到各相鄰兩個視頻幀各自對應的差分特征圖，包括：

獲取第一視頻幀對應的特征圖上各個網格的第一特征值以及第二視頻幀對應的特征圖上各個網格的第二特征值；所述第一視頻幀和所述第二視頻幀為相鄰的兩個視頻幀；

基于各所述第一特征值和各所述第二特征值以及預設的差分方式，得到所述第一視頻幀的差分特征圖和所述第二視頻幀的差分特征圖。

4.根據權利要求3所述的方法，其特征在于，所述基于各所述第一特征值和各所述第二特征值以及預設的差分方式，得到所述第一視頻幀的差分特征圖和所述第二視頻幀的差分特征圖，包括：

獲取各所述第一特征值中的第一目標特征值，以及獲取各所述第二特征值中的第二目標特征值；

將各所述第一特征值均替換為所述第一目標特征值，并將替換后的各新的第一特征值和各所述第二特征值進行差分處理，得到所述第一視頻幀對應的差分特征圖；

將各所述第二特征值均替換為所述第二目標值，并將替換后的各新的第二特征值和各所述第一特征值進行差分處理，得到所述第二視頻幀對應的差分特征圖。

5.根據權利要求1-4任意一項所述的方法，其特征在于，所述基于各所述相鄰兩個視頻幀之間的相似度，對所述各個視頻幀對應的特征向量進行融合處理，得到所述視頻源對應的融合特征，包括：

對所述視頻源中各相鄰兩個視頻幀對應的特征向量進行取均值處理，得到各所述相鄰兩個視頻幀對應的平均特征向量；

基于各所述相鄰兩個視頻幀之間的相似度，對各所述相鄰兩個視頻幀對應的平均特征向量進行加權融合處理，得到所述視頻源對應的融合特征。

6.根據權利要求1-4任意一項所述的方法，其特征在于，所述特征提取網絡的訓練過程包括：

獲取至少一個樣本視頻源；所述樣本視頻源包括至少一個樣本視頻幀，每個所述樣本視頻幀均已標注類別概率分布；

將各個樣本視頻幀輸入至初始特征提取網絡中進行特征提取，得到每個樣本視頻幀對應的特征向量；

將所述每個樣本視頻幀對應的特征向量輸入至分類器中，得到每個樣本視頻幀對應的預測類別概率分布；

基于每個所述樣本視頻幀對應的預測類別概率分布和每個所述樣本視頻幀的已標注類別概率分布，對所述初始特征提取網絡進行訓練，得到所述特征提取網絡。