[發明專利]視頻的文本信息匹配方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110894271.6
• 申請日: 2021-08-04
• 公開（公告）號: CN113536039A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 王瑞軒;莊嘉鑫;陶婉瑩;石威;鄭偉詩
• 申請（專利權）人: 中山大學
• 主分類號: G06F16/783
• 分類號: G06F16/783
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 曾敬

1.一種視頻的文本信息匹配方法，其特征在于，包括：

從目標視頻截取預設長度的視頻片段；

獲取所述視頻片段對應的第一文本信息；

對所述視頻片段和所述第一文本信息進行表征提取，得到所述視頻片段的第一表征集合和所述第一文本信息的第二表征集合；

將所述第一表征集合和所述第二表征集合輸入至共享空間進行匹配，從而得到所述視頻片段與所述第一文本信息的匹配關系；

基于所述匹配關系對所述目標視頻及所述目標視頻對應的第二文本信息進行匹配。

2.如權利要求1所述的視頻的文本信息匹配方法，其特征在于，所述將所述第一表征集合和所述第二表征集合輸入至共享空間進行匹配，從而得到所述視頻片段與所述第一文本信息的匹配關系，包括：

將所述第一表征集合與所述第二表征集合輸入至所述共享空間進行表征對齊處理，得到所述第一文本信息的損失函數；

基于所述損失函數確定所述第一文本信息與所述視頻片段的匹配關系。

3.如權利要求2所述的視頻的文本信息匹配方法，其特征在于，所述基于所述損失函數確定所述第一文本信息與所述視頻片段的匹配關系，包括：

判斷所述損失函數的值是否小于預設值；

若是，則保存所述第一文本信息與所述視頻片段的匹配關系；

若否，則返回執行從目標視頻截取預設長度的視頻片段的步驟，直至所述損失函數的值小于所述預設值。

4.如權利要求2所述的視頻的視頻的文本信息匹配方法，其特征在于，所述第一表征集合包括動作表征、物體表征和片段表征，所述第二表征集合包括動詞表征、名詞表征和文本表征。

5.如權利要求4所述的視頻的視頻的文本信息匹配方法，其特征在于，所述將所述第一表征集合與所述第二表征集合輸入至所述共享空間進行表征對齊處理，得到所述第一文本信息的損失函數，包括：

分別對所述動作表征與所述動詞表征、所述物體表征與所述名詞表征、所述片段表征與所述文本表征輸入至所述共享空間進行表征對齊處理，分別得到所述第一文本信息的第一子損失函數、第二子損失函數和第三子損失函數。

6.如權利要求4所述的視頻的文本信息匹配方法，其特征在于，所述將所述第一表征集合與所述第二表征集合輸入至所述共享空間進行表征對齊處理，得到所述第一文本信息的損失函數，包括：

將所述動作表征、所述物體表征、所述動詞表征和所述名詞表征輸入至第一子共享空間；

將所述片段表征和所述文本表征輸入至第二子共享空間；

基于所述第一子共享空間和所述第二子共享空間對所述動作表征與所述動詞表征、所述物體表征與所述名詞表征、所述片段表征與所述文本表征進行表征對齊處理，得到所述第一文本信息的損失函數。

7.如權利要求6所述的視頻的文本信息匹配方法，其特征在于，所述基于所述第一子共享空間和所述第二子共享空間對所述動作表征與所述動詞表征、所述物體表征與所述名詞表征、所述片段表征與所述文本表征進行表征對齊處理，得到所述第一文本信息的損失函數，包括：

將所述第一子共享空間和所述第二子共享空間進行卷積處理，得到第三子共享空間；

對所述第三子共享空間中的所述動作表征與所述動詞表征、所述物體表征與所述名詞表征、所述片段表征與所述文本表征進行表征對齊處理，得到所述第一文本信息的損失函數。

8.一種視頻的文本信息匹配裝置，其特征在于，包括：

視頻截取單元，用于從目標視頻截取預設長度的視頻片段；

文本獲取單元，用于獲取所述視頻片段對應的第一文本信息；

表征提取單元，用于對所述視頻片段和所述第一文本信息進行表征提取，得到所述視頻片段的第一表征集合和所述第一文本信息的第二表征集合；

表征匹配單元，用于將所述第一表征集合和所述第二表征集合輸入至共享空間進行匹配，從而得到所述視頻片段與所述第一文本信息的匹配關系；

文本匹配單元，用于基于所述匹配關系對所述目標視頻及所述目標視頻對應的第二文本信息進行匹配。