[發(fā)明專利]一種深度跨模態(tài)哈希檢索方法、設備及介質

在審

• 申請?zhí)枺?/td>: 202010028018.8
• 申請日: 2020-01-10
• 公開（公告）號: CN111241310A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設計）人: 姚洪磊;李銳;金長新
• 申請（專利權）人: 濟南浪潮高新科技投資發(fā)展有限公司
• 主分類號: G06F16/432
• 分類號: G06F16/432;G06F16/41;G06N3/04;G06N3/08
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 董延麗

1.一種深度跨模態(tài)哈希檢索方法，其特征在于，包括：

獲取通過多個訓練樣本以及長短期記憶人工神經網絡LSTM預先生成的哈希檢索模型，其中，所述訓練樣本包括多種模態(tài)；

通過所述哈希檢索模型生成并存儲，不同模態(tài)的各檢索信息對應的哈希碼；

在接收包含有待檢索目標的檢索請求時，通過所述哈希檢索模型輸出所述待檢索目標的哈希碼；

根據所述檢索目標的哈希碼，在存儲的包含與所述檢索目標不同模態(tài)的多個所述檢索信息中，確定檢索結果。

2.根據權利要求1所述的方法，其特征在于，訓練生成所述哈希檢索模型時，所述方法還包括：

在所述多個訓練樣本中，確定不同模態(tài)的第一樣本和第二樣本；

基于所述第一樣本與所述第二樣本分別擁有的標簽，生成相似度矩陣；

通過所述相似度矩陣訓練生成所述哈希檢索模型。

3.根據權利要求1所述的方法，其特征在于，訓練生成所述哈希檢索模型時，所述方法還包括：

通過不包含全連接層的卷積神經網絡提取模態(tài)為圖片的訓練樣本的第一圖像特征；和/或

獲取模態(tài)為文本的訓練樣本的文本向量，通過所述文本向量以及詞嵌入提取模態(tài)為文本的訓練樣本的第一文本特征。

4.根據權利要求3所述的方法，其特征在于，訓練生成所述哈希檢索模型時，所述方法還包括：

將所述第一圖像特征和/或所述第一文本特征輸入至所述LSTM，得到第二圖像特征和/或第二文本特征；

通過所述第二圖像特征和/或所述第二文本特征生成，模態(tài)為圖像和/或文本的所述訓練樣本對應的哈希碼。

5.根據權利要求4所述的方法，其特征在于，訓練生成所述哈希檢索模型時，所述方法還包括：

通過損失函數(shù)對所述哈希檢索模型進行優(yōu)化，其中，設所述損失函數(shù)為L，則Fi為第二圖像特征，F(xiàn)j為第二文本特征，L2為量化損失，L₃為平衡損失。

6.根據權利要求1所述的方法，其特征在于，根據所述檢索目標的哈希碼，在存儲的包含與所述檢索目標不同模態(tài)的多個所述檢索信息中，確定檢索結果，包括：

在存儲的包含與所述檢索目標不同模態(tài)的多個所述檢索信息中，按照所述檢索信息的哈希碼與所述檢索目標的哈希碼之間的接近程度，從高到低的選取若干個檢索信息作為檢索結果。

7.根據權利要求6所述的方法，其特征在于，所述接近程度通過海明距離確定。

8.根據權利要求1所述的方法，其特征在于，所述訓練樣本包括模態(tài)為文本的語句。

9.一種深度跨模態(tài)哈希檢索設備，其特征在于，包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠：

獲取通過多個訓練樣本以及長短期記憶人工神經網絡LSTM預先生成的哈希檢索模型，其中，所述訓練樣本包括多種模態(tài)；

通過所述哈希檢索模型生成并存儲，不同模態(tài)的各檢索信息對應的哈希碼；

在接收包含有待檢索目標的檢索請求時，通過所述哈希檢索模型輸出所述待檢索目標的哈希碼；

根據所述檢索目標的哈希碼，在存儲的包含與所述檢索目標不同模態(tài)的多個所述檢索信息中，確定檢索結果。

10.一種深度跨模態(tài)哈希檢索的非易失性計算機存儲介質，存儲有計算機可執(zhí)行指令，其特征在于，所述計算機可執(zhí)行指令設置為：

獲取通過多個訓練樣本以及長短期記憶人工神經網絡LSTM預先生成的哈希檢索模型，其中，所述訓練樣本包括多種模態(tài)；

通過所述哈希檢索模型生成并存儲，不同模態(tài)的各檢索信息對應的哈希碼；

在接收包含有待檢索目標的檢索請求時，通過所述哈希檢索模型輸出所述待檢索目標的哈希碼；

根據所述檢索目標的哈希碼，在存儲的包含與所述檢索目標不同模態(tài)的多個所述檢索信息中，確定檢索結果。