[發明專利]圖像的檢索方法、裝置和計算機可讀存儲介質

在審

• 申請號: 201911334579.4
• 申請日: 2019-12-23
• 公開（公告）號: CN113094538A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 張超穎;項超;劉珮;賈丹;趙嘯宇;孟維業;王建秀
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 張雷

1.一種圖像的檢索方法，包括：

根據提取的目標圖像的特征向量，利用第一機器學習模型，確定所述目標圖像的描述文本；

利用第二機器學習模型，對所述目標圖像進行人臉識別，確定所述目標圖像的身份信息；

根據多個目標圖像的描述文本和身份信息，對用戶提供的檢索關鍵詞進行匹配，在所述多個目標圖像中確定相應的檢索結果。

2.根據權利要求1所述的檢索方法，其中，所述確定所述目標圖像的描述文本包括：

根據提取的所述目標圖像中不同區域的特征向量，利用所述第一機器學習模型的注意力機制模塊，確定各特征向量的權重；

根據所述各特征向量及其權重，利用所述第一機器學習模型，確定所述目標圖像的描述文本。

3.根據權利要求2所述的檢索方法，其中，

所述第一機器學習模型為雙層長短期記憶LSTM模型，所述LSTM模型包括第一LSTM模塊和第二LSTM模塊，所述注意力機制模塊設置在所述第一LSTM模塊和所述第二LSTM模塊之間；

所述確定各特征向量的權重包括：

根據所述第一LSTM模塊的輸出和特征向量，確定該特征向量的權重。

4.根據權利要求3所述的檢索方法，其中，所述確定所述目標圖像的描述文本包括：

根據所述第一LSTM模塊的輸出和所述各特征向量的加權和，確定所述第二LSTM模塊的輸出；

根據所述第二LSTM模塊的輸出，確定所述目標圖像的描述文本。

5.根據權利要求1所述的檢索方法，其中，所述確定所述目標圖像的描述文本包括：

利用所述第一機器學習模型，確定各候選詞的概率；

根據所述各候選詞的概率，確定所述目標圖像的多條候選描述文本；

根據各候選描述文本中各候選詞的概率，確定所述各候選描述文本的概率；

將概率最高的一條或多條候選描述文本確定為所述描述文本。

6.根據權利要求1-5任一項所述的檢索方法，還包括：

響應于目標圖像被刪除，將該目標圖像相應的描述文本和身份信息刪除。

7.一種圖像的檢索裝置，包括：

文本確定單元，用于根據提取的目標圖像的特征向量，利用第一機器學習模型，確定所述目標圖像的描述文本；

信息確定單元，用于利用第二機器學習模型，對所述目標圖像進行人臉識別，確定所述目標圖像的身份信息；

檢索單元，用于根據多個目標圖像的描述文本和身份信息，對用戶提供的檢索關鍵詞進行匹配，在所述多個目標圖像中確定相應的檢索結果。

8.根據權利要求7所述的檢索裝置，其中，

所述文本確定單元根據提取的所述目標圖像中不同區域的特征向量，利用所述第一機器學習模型的注意力機制模塊，確定各特征向量的權重，根據所述各特征向量及其權重，利用所述第一機器學習模型，確定所述目標圖像的描述文本。

9.根據權利要求8所述的檢索裝置，其中，

所述第一機器學習模型為雙層長短期記憶LSTM模型，所述LSTM模型包括第一LSTM模塊和第二LSTM模塊，所述注意力機制模塊設置在所述第一LSTM模塊和所述第二LSTM模塊之間；

所述文本確定單元根據所述第一LSTM模塊的輸出和特征向量，確定該特征向量的權重。

10.根據權利要求9所述的檢索裝置，其中，

所述文本確定單元根據所述第一LSTM模塊的輸出和所述各特征向量的加權和，確定所述第二LSTM模塊的輸出，根據所述第二LSTM模塊的輸出，確定所述目標圖像的描述文本。