[發明專利]一種基于自然語言描述的圖像檢索系統及方法

在審

• 申請號: 201910738598.7
• 申請日: 2019-08-12
• 公開（公告）號: CN110502650A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 李舟軍;張騫昊;陳小明;肖武魁;覃維
• 申請（專利權）人: 深圳智能思創科技有限公司
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/532;G06F16/583;G06F17/27
• 代理公司: 11232 北京慧泉知識產權代理有限公司
• 代理人: 李娜<國際申請>=<國際公布>=<進入國

1.一種基于自然語言描述的圖像檢索系統，其特征在于：包括用戶界面和系統兩部分；其中，所述的系統包括預處理模塊、文本匹配模塊、自動標注模塊；

所述的用戶界面，供用戶提出檢索圖像或上傳圖像的請求，交由系統響應，包括：檢索界面和上傳界面；

所述的預處理模塊，用于在系統第一次響應用戶請求之前，在系統運行環境中裝入響應請求所需的數據，以加快響應請求的速度；

所述的文本匹配模塊，用于系統響應用戶的檢索請求時，將用戶的輸入與數據庫中存有的圖像標注即自然語言描述進行文本匹配，獲取匹配度高的檢索結果；

所述的自動標注模塊：用于系統響應用戶的上傳請求時，將用戶上傳的圖片根據神經網絡模型產生符合人類表述習慣的內容性描述，將圖片和描述存儲到數據庫中。

2.根據權利要求1所述的一種基于自然語言描述的圖像檢索系統，其特征在于：所述的預處理模塊，具體包括：

圖像訪問結構裝載單元：該單元用于將圖像文件相對應的頂端目錄的路徑存儲到運行環境中，以得到完整的數據庫圖像訪問結構；

標注的詞干提取及裝載單元：該單元用于將圖像標注文件的內容進行詞干提取，排除時態、詞性以及大小寫對用詞的影響后存儲到運行環境中，以得到完整的數據庫標注集合；

神經網絡裝載單元：該單元用于針對模型中需要裝載權重的神經網絡層，讀取預先訓練好的模型文件，并抽取其中存有的全部權重信息，并將其裝入相應的層中，然后將模型裝載到運行環境中。

3.根據權利要求1所述的一種基于自然語言描述的圖像檢索系統，其特征在于：所述的文本匹配模塊具體包括：

詞干提取單元：該單元用于對用戶輸入的語句進行詞干提取，排除時態、詞性以及大小寫對用詞的影響；

匹配計算單元：該單元用于遍歷運行環境中已存有的經過詞干提取的標注，將其和用戶輸入的經過詞干提取的語句進行BLEU-4分值的計算，將所得分值作為匹配打分；

返回結果單元：該單元用于按照匹配分值將標注以從高到低的順序進行排序，并以此順序向用戶返回標注所對應的圖片作為檢索結果。

4.根據權利要求1所述的一種基于自然語言描述的圖像檢索系統，其特征在于：所述的自動標注模塊具體包括：

標注單元：該單元用于將上傳圖像作為輸入傳入神經網絡模型，通過該模型產生自然語言描述作為對上傳圖像的標注；

保存結果單元：該單元用于將上傳圖像以及對此圖像產生的標注存入數據庫中，并將訪問路徑和產生的標注更新到運行環境中的數據庫圖像訪問結構和數據庫標注集合中。

5.一種基于自然語言描述的圖像檢索方法，其特征在于：包括預處理和圖像檢索，具體過程如下：

S1預處理：在系統第一次響應用戶請求之前，在系統運行環境中裝入響應請求所需的數據，以加快響應請求的速度；

S2圖像檢索：系統響應用戶的檢索請求，將用戶的輸入與數據庫中存有的圖像標注即自然語言描述進行文本匹配，獲取匹配度高的檢索結果。

6.根據權利要求5所述的一種基于自然語言描述的圖像檢索方法，其特征在于：所述步驟S1預處理具體過程如下：

S1.1圖像訪問結構裝載：從存有全部數據點頂端目錄開始，逐次訪問子目錄，直到訪問得到圖像文件，將其相對頂端目錄的路徑存儲到運行環境中；該過程對所有圖像文件進行，完成后即得到完整的數據庫圖像訪問結構；

S1.2神經網絡裝載：首先規定神經網絡的模型架構；神經網絡模型采用帶有注意力機制的編碼器-解碼器架構，編碼器為一個深度卷積網絡ResNet101，解碼器為一個長短時記憶單元LSTM，注意力機制為由一個前饋神經網絡實現的軟注意力機制；其后，針對模型中需要裝載權重的神經網絡層，讀取預先訓練好的模型文件，并抽取其中存有的全部權重信息，并將其裝入相應的層中，然后將模型裝載到運行環境；

S1.3標注的詞干提取及裝載：從存有全部數據點頂端目錄開始，逐次訪問子目錄，直到訪問得到存儲圖像標注的文件，將其內容進行詞干提取，排除時態、詞性以及大小寫對用詞的影響，而后存儲到運行環境中；該過程對所有圖像標注文件進行，完成后即得到完整的數據庫標注集合。