[發明專利]一種視頻語音檢索方法

有效

• 申請號: 202110308948.3
• 申請日: 2021-03-23
• 公開（公告）號: CN112905844B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉文印;李劼博;陳俊洪
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/683;G06K9/62;G06V10/80
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭帥

1.一種視頻語音檢索方法，其特征在于，包括：

提取訓練樣本中的第一視頻特征和第一語音特征；

將所述第一視頻特征和所述第一語音特征進行特征對齊；

計算所述第一視頻特征與視頻特征記憶庫中第二視頻特征的視頻特征相似度，以及計算所述第一語音特征與語音特征記憶庫中第二語音特征的語音特征相似度；

若所述視頻特征相似度和/或者所述語音特征相似度小于預設的閾值，則更新對應的所述視頻特征記憶庫和/或者所述語音特征記憶庫；

計算所述第一視頻特征與所述第二視頻特征的視頻特征距離關系向量，以及計算所述第一語音特征與所述第二語音特征的語音特征距離關系向量；

將對齊后的所述第一視頻特征和所述第一語音特征進行特征融合，得到融合特征向量；

將所述視頻特征距離關系向量、所述語音特征距離關系向量以及所述融合特征向量進行加權計算，得到訓練樣本的特征與特征記憶庫中特征的匹配度；

根據所述匹配度調整視頻語音檢索模型的參數。

2.根據權利要求1所述的視頻語音檢索方法，其特征在于，在所述計算所述第一視頻特征與視頻特征記憶庫中第二視頻特征的視頻特征相似度，以及計算所述第一語音特征與語音特征記憶庫中第二語音特征的語音特征相似度，之前還包括：

分別建立原始視頻特征的視頻特征記憶庫和原始語音特征的語音特征記憶庫。

3.根據權利要求1所述的視頻語音檢索方法，其特征在于，所述提取訓練樣本中的第一視頻特征和第一語音特征，包括：

采用動作識別模型雙流I3D提取所述訓練樣本的所述第一視頻特征；

采用長短期記憶網絡提取所述訓練樣本的所述第二語音特征。

4.根據權利要求1所述的視頻語音檢索方法，其特征在于，所述將所述第一視頻特征和所述第一語音特征進行特征對齊，包括：

將所述訓練樣本的所述第一視頻特征和所述第一語音特征分別輸入到兩個全連接層，使得所述第一視頻特征和所述第一語音特征投射到同一個空間，當描述同一件事物的特征時，所述第一視頻特征和所述第一語音特征的距離小于預設距離，當描述不同一件事物的特征時，所述第一視頻特征和所述第一語音特征的距離大于預設距離。

5.根據權利要求1所述的視頻語音檢索方法，其特征在于，所述計算所述第一視頻特征與視頻特征記憶庫中第二視頻特征的視頻特征相似度，以及計算所述第一語音特征與語音特征記憶庫中第二語音特征的語音特征相似度，包括：

將所述第一視頻特征與所述第二視頻特征進行對齊，將所述第一視頻特征中未與所述第二視頻特征對齊的第三視頻特征，分別與所述第二視頻特征中的每個特征進行逐個比對，得到所述第三視頻特征對應的多個視頻特征相似度；

將所述第一語音特征與所述第二語音特征進行對齊，將所述第一語音特征中未與所述第二語音特征對齊的第三語音特征，分別與所述第二語音特征中的每個特征進行逐個比對，得到所述第三語音特征對應的多個語音特征相似度。

6.根據權利要求5所述的視頻語音檢索方法，其特征在于，所述若所述視頻特征相似度和/或者所述語音特征相似度小于預設的閾值，則更新對應的所述視頻特征記憶庫和/或者所述語音特征記憶庫，包括：

若多個視頻特征相似度和/或者所述語音特征相似度中的最大值小于預設的閾值，則將所述第三視頻特征和/或者所述第三語音特征作為一個新的特征類別更新到對應的所述視頻特征記憶庫和/或者所述語音特征記憶庫。

7.根據權利要求1所述的視頻語音檢索方法，其特征在于，所述根據所述匹配度調整視頻語音檢索模型的參數，包括：

獲取所述匹配度最高的多個訓練樣本與所述訓練樣本對應的真值進行對比，得到所述視頻語音檢索模型的準確率，所述真值為所述訓練樣本中的視頻和音頻描述的是同一件事，否則為假；

根據所述準確率調整所述視頻語音檢索模型的參數，再次訓練所述視頻語音檢索模型，直到所述準確率大于預設準確率閾值。