[發明專利]圖像檢索方法和裝置

有效

• 申請號: 202110700176.8
• 申請日: 2021-06-23
• 公開（公告）號: CN113392257B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 侯博嚴;于吉鵬;李馳;劉巖
• 申請（專利權）人: 泰康保險集團股份有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;王志遠

1.一種圖像檢索方法，其特征在于，包括：

獲取待檢索圖像的表層特征向量；

依據待檢索圖像的表層特征向量與預先確定的先驗知識數據生成待檢索圖像的終極特征向量；其中，

所述先驗知識數據是使用預設的多個詞語的特征向量以及所述多個詞語在歷史文本中具有的共生關系確定的；待檢索圖像的終極特征向量用于通過與查詢文本的終極特征向量進行比對以實現圖像檢索，查詢文本的終極特征向量是依據查詢文本的表層特征向量與所述先驗知識數據生成的；所述多個詞語在歷史文本中具有的共生關系由所述多個詞語中的任意兩個詞語在所述歷史文本中的出現概率確定；

所述先驗知識數據根據以下步驟確定：將所述多個詞語的特征向量組合為詞語特征矩陣，根據所述出現概率生成出現概率矩陣；將所述詞語特征矩陣作為隱狀態矩陣的初始數據輸入預先訓練的圖卷積神經網絡；在所述圖卷積神經網絡的任一隱藏層，將所述出現概率矩陣的標準化矩陣與輸入的隱狀態矩陣相乘之后進行線性變換，并將該線性變換的結果送入預設的激活函數，得到該隱藏層輸出的隱狀態矩陣；將最后的隱藏層輸出的隱狀態矩陣確定為作為先驗知識數據的先驗知識矩陣。

2.根據權利要求1所述的方法，其特征在于，所述依據待檢索圖像的表層特征向量與預先確定的先驗知識數據生成待檢索圖像的終極特征向量，包括：

將待檢索圖像的表層特征向量線性變換之后與所述先驗知識矩陣的轉置矩陣相乘，并將相乘的結果送入預設的歸一化函數，得到待檢索圖像針對所述多個詞語的相關性向量；其中，所述相關性向量由待檢索圖像針對所述多個詞語中每一詞語的相關性指數組成；

將所述相關性向量與所述先驗知識矩陣相乘，得到待檢索圖像的深層特征向量；

將待檢索圖像的表層特征向量和深層特征向量結合為待檢索圖像的終極特征向量。

3.根據權利要求2所述的方法，其特征在于，所述查詢文本的終極特征向量通過以下步驟生成：

使用預先訓練的編碼網絡對所述查詢文本包含的每一詞語進行編碼，將每一詞語的編碼組合之后進行自注意力編碼，得到所述查詢文本的表層特征向量；

獲取所述查詢文本針對所述多個詞語的關聯向量，將所述關聯向量送入所述歸一化函數，得到所述查詢文本針對所述多個詞語的第一相關向量；其中，所述關聯向量中的每一分量表征所述查詢文本中是否存在所述多個詞語中的任一詞語；

將所述查詢文本的表層特征向量線性變換之后與所述先驗知識矩陣的轉置矩陣相乘，并將相乘的結果送入所述歸一化函數，得到所述查詢文本針對所述多個詞語的第二相關向量；其中，第二相關向量由所述查詢文本針對所述多個詞語中每一詞語的相關性指數組成；

將第一相關向量和第二相關向量的加權和確定為所述查詢文本針對所述多個詞語的相關性向量，將該相關性向量與所述先驗知識矩陣相乘，得到所述查詢文本的深層特征向量；

將所述查詢文本的表層特征向量和深層特征向量結合為所述查詢文本的終極特征向量。

4.根據權利要求1所述的方法，其特征在于，待檢索圖像的終極特征向量與查詢文本的終極特征向量通過以下步驟進行比對以實現圖像檢索：

計算所述查詢文本的終極特征向量與每一待檢索圖像的終極特征向量之間的相似度；

將最大相似度對應的待檢索圖像確定為所述查詢文本對應的圖像檢索結果。

5.根據權利要求2或3所述的方法，其特征在于，待檢索圖像的表層特征向量通過以下步驟確定：

將待檢索圖像輸入預先訓練的卷積神經網絡，得到待檢索圖像的特征圖特征；

將所述特征圖特征經線性變換后進行自注意力編碼，得到待檢索圖像的表層特征向量；

所述激活函數為ReLU函數，所述歸一化函數為Softmax函數。