[發明專利]特征提取與跨模態匹配檢索方法、裝置、設備及介質

在審

• 申請號: 202310373167.1
• 申請日: 2023-04-10
• 公開（公告）號: CN116628258A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 林凱;沈濤
• 申請（專利權）人: 深圳市恒揚數據股份有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F18/22;G06F40/211;G06F40/289;G06F40/30;G06V20/40;G06N5/04;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種特征提取與跨模態匹配檢索方法，其特征在于，所述方法包括：

獲取跨模態數據集，所述數據集包括文本數據和視頻數據；

提取所述文本數據的文本全局事件特征和文本局部特征，其中，所述文本局部特征包括文本行為特征和文本主體特征；

基于所述文本全局特征和所述文本局部特征，利用注意力的圖推理得到文本全局節點Ce、文本行為節點Ca和文本主體節點Co；

通過不同層次變換矩陣，提取所述視頻數據中與所述文本全局事件特征和文本局部特征對應的視頻全局事件特征Ve和視頻局部特征，其中，所述視頻局部特征包括視頻行為特征Va和視頻主體特征Vo；

將所述文本全局節點Ce和所述視頻數據的全局事件特征Ve、所述文本數據的局部特征和所述視頻數據的局部特征進行對齊匹配，計算每一對跨模態數據之間的相似度；

基于每對跨模態數據之間的相似度構建損失函數，以所述損失函數取得最小值為目標進行優化，對整個文本-視頻檢索模型架構中參數進行訓練。

2.根據權利要求1所述的特征提取與跨模態匹配檢索方法，其特征在于，所述提取所述文本數據的文本全局事件特征和文本局部特征，其中，所述文本局部特征包括文本行為特征和文本主體特征的步驟，包括：

基于主題詞提取模型和句法分析工具spaCy提取所述文本數據的主要成分；

根據所述主要成分，提取不同層次的語義角色短語；

根據所述語義角色短語構建語義拓撲圖；

根據所述語義拓撲圖提取所述文本數據的文本全局事件特征和文本局部特征。

3.根據權利要求2所述的特征提取與跨模態匹配檢索方法，其特征在于，所述根據所述語義角色短語構建語義拓撲圖之后的步驟，包括：

所述文本數據包括短語，將所述短語輸入到一個預訓練的BERT語言編碼模型，取其最后一層的768維的隱含層來表示整個短語的信息；

將所有節點的特征編碼向量進行求解，得到全局節點編碼向量、行為節點編碼向量和主體節點編碼向量。

4.根據權利要求2所述的特征提取與跨模態匹配檢索方法，其特征在于，所述基于所述文本全局特征和所述文本局部特征，利用注意力的圖推理得到文本全局節點Ce、文本行為節點Ca和文本主體節點Co的步驟，包括：

基于GCN網絡對語義圖進行推理求解；

將所述GCN網絡中多關聯權重分解為兩部分，其中，所述兩部分包括共有的公共轉換矩陣和不同語義角色的嵌入矩陣；

所述公共轉換矩陣設為Wt∈R^D*D,所述不同語義角色的嵌入矩陣設為Wr∈R^D*K,其中，D為節點向量的維數，K為語義角色的個數，R為矩陣；

對于所述GCN網絡第一層的輸入，將節點嵌入向量gi與其對應的語義角色相乘，其中，gi為節點i在GCN第l層的輸出表示；

利用所述注意力的圖推理從相鄰節點中選擇相關上下文來增強每個節點的表示；

根據所述公共轉換矩陣Wt，將上下文從相關節點轉換到具有殘差連接的節點i；

將最終的層次文本表示為在所述GCN網絡的第L層的輸出，得到所述文本全局節點Ce、所述文本行為節點Ca和所述文本主體節點Co。

5.根據權利要求1所述的特征提取與跨模態匹配檢索方法，其特征在于，所述通過不同層次變換矩陣，提取所述視頻數據中與所述文本全局事件特征和文本局部特征對應的視頻全局事件特征Ve和視頻局部特征，其中，所述視頻局部特征包括視頻行為特征Va和視頻主體特征Vo的步驟，包括：

將所述視頻數據進行采樣抽幀；

利用三個不同變換矩陣編碼所述視頻數據的三個層次的特征；

所述視頻全局事件特征Ve的每幀計算使用注意力機制；

所述視頻行為特征Va和所述視頻主體特征Vo的每幀計算分別由抽取的每幀層次特征組合而成。