[發明專利]一種基于自然語言描述的圖像檢索系統及方法

在審

• 申請號: 201910738598.7
• 申請日: 2019-08-12
• 公開（公告）號: CN110502650A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 李舟軍;張騫昊;陳小明;肖武魁;覃維
• 申請（專利權）人: 深圳智能思創科技有限公司
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/532;G06F16/583;G06F17/27
• 代理公司: 11232 北京慧泉知識產權代理有限公司
• 代理人: 李娜<國際申請>=<國際公布>=<進入國

本發明公開一種基于自然語言描述的圖像檢索系統，包括用戶界面和系統兩部分；所述的系統包括預處理模塊、文本匹配模塊、自動標注模塊；一種基于自然語言描述的圖像檢索方法，包括預處理：在系統第一次響應用戶請求之前，在系統運行環境中裝入響應請求所需的數據，加快響應請求的速度；圖像檢索：系統響應用戶的檢索請求，將用戶的輸入與數據庫中存有的圖像標注即自然語言描述進行文本匹配，獲取匹配度高的檢索結果。本發明通過自動化的圖像描述生成進行標注，快速針對新出現的圖片產生內容描述性文字；解決了基于較長的描述性文字進行圖像檢索的需求，用戶只需對圖像內容進行文字描述，即可獲得較為準確地符合描述的圖片。

技術領域

本發明涉及一種基于自然語言描述的圖像檢索系統方法，屬于計算機圖像視覺技術、自然語言處理技術、信息檢索技術的交叉領域。

背景技術

信息技術與網絡技術的飛速發展，為海量互聯網圖像的產生與傳播提供了極大便利。在此背景下，傳統的基于關鍵字的圖像檢索方式，其提供的檢索精度難以滿足用戶需求。以圖搜圖(基于圖像的圖像檢索)的檢索方式，雖然能夠提供較高的檢索精度，但適用場景相對受限。因此，研究能夠直接基于描述性語句進行圖像精準檢索的的方法與技術，已經成為圖像檢索領域的前沿熱點問題，具有廣泛的應用前景。

本發明針對基于自然語言描述檢索圖像的迫切需求，首先采用了圖像的自動標注技術，為給定圖像自動生成其自然語言描述。然后，將互聯網圖像的自然語言描述與該圖像進行關聯，構造圖像檢索的鍵值對，作為基于自然語言描述進行圖像檢索的基礎，再通過將鍵值進行文本對齊打分進行檢索，設計并實現了一套集成了自動標注和檢索功能的系統。該系統具備向數據庫上傳圖片并自動標注，可以替代現行的人工標注，大大提高了圖像標注的效率，從而適應圖像數量的急速增長；同時，該系統能夠基于一段較長的描述性語句而非關鍵字進行準確的圖像檢索，從而克服現行主流搜索引擎的局限性。

發明內容

本發明一種基于自然語言描述的圖像檢索系統及方法，所要技術解決的問題：針對大規模圖像上傳的自動標注技術，提供一種自動產生圖像描述的神經網絡模型，對于互聯網上新上傳的圖像，利用該神經網絡模型，自動產生對圖像內容的文字描述，作為圖像的標注；近一步的，針對基于自然語言描述進行圖像檢索提供一種算法，能夠基于一段較長的圖像描述對圖像進行匹配和檢索。

本發明一種基于自然語言描述的圖像檢索系統，包括用戶界面和系統兩部分；其中，所述的系統包括預處理模塊、文本匹配模塊、自動標注模塊；

所述的用戶界面，供用戶提出檢索圖像或上傳圖像的請求，交由系統響應，具體包括：

檢索界面：包含用戶檢索時需要用到的輸入功能區和提交請求功能區。輸入功能區用于接收用戶為檢索圖片所提供的文字輸入，可由一個輸入框完成；提交請求功能區是用戶確認輸入后，向系統提交輸入時采用的觸發手段，可以設計為一個按鈕。

上傳界面：包含用戶上傳圖像時需要用到的上傳文件功能區和提交請求功能區。上傳文件功能區用于接收用戶想要上傳的圖像，可以是一個拖曳文件置放區，讓用戶將文件拖曳至此松開后上傳，也可以是一個瀏覽按鈕，通過點擊瀏覽文件目錄選擇文件；提交請求功能區是用戶確認圖像后，向系統提交圖像時采用的觸發手段，可以設計為一個按鈕。

所述的預處理模塊，用于在系統第一次響應用戶請求之前，在系統運行環境中裝入響應請求所需的數據，以加快響應請求的速度，具體包括：

圖像訪問結構裝載單元：該單元用于將圖像文件相對應的頂端目錄的路徑存儲到運行環境中，以得到完整的數據庫圖像訪問結構。

標注的詞干提取及裝載單元：該單元用于將圖像標注文件的內容進行詞干提取，排除時態、詞性以及大小寫對用詞的影響后存儲到運行環境中，以得到完整的數據庫標注集合。