[發明專利]一種基于圖像中英文描述的電腦照片檢索方法與系統

在審

• 申請號: 202010874495.6
• 申請日: 2020-08-26
• 公開（公告）號: CN112015939A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 戴亞平;趙凱鑫;紀野;孫佳逸;吳向東;張超穎
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F16/53;G06F16/538;G06F16/51;G06K9/00;G06F40/216;G06F40/126;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于圖像中英文描述的電腦照片檢索方法與系統，屬于圖像處理技術領域。該電腦照片檢索系統包括圖像中英文描述子系統和電腦照片檢索子系統兩大部分，該系統的工作流程主要包含兩個環節：S1，根據特定電腦照片庫中的照片生成對應的照片信息數據庫；S2，根據關鍵字從數據庫中查找匹配出對應的照片并進行顯示。本發明將圖像的中英描述模型應用到電腦照片的圖像檢索中，發揮圖像描述技術能夠自動生成描述語句的優勢，通過搜索照片內容的中英文關鍵詞組和人名，實現基于照片關鍵詞句的精確檢索。本發明的檢索速度快，檢索準確度高，具有很好的實用與推廣價值。

技術領域

本發明涉及一種基于圖像中英文描述的電腦照片檢索方法與系統，屬于圖像處理技術領域。

背景技術

隨著互聯網技術、數字成像以及計算機存儲等技術的飛速發展，多媒體技術已經得到廣泛應用。人們每天通過各種智能終端在互聯網上共享著大量信息，其中圖像數據占據很大比例。由于圖像數據量的激增，形成了規模龐大的視覺信息圖像庫，越來越多的圖像數據使得人工檢索和查找過程耗時增長，魯棒性變弱，且查找結果準確率降低，因此傳統基于文件名的檢索已不能滿足人們的需求。

在圖像檢索方面，目前的檢索方式主要有基于文本的圖像檢索(Text-BaesdImage Retrival,TBIR)和基于內容的圖像檢索(Content-Baesd Image Retrival,CBIR)兩種類型。

TBIR是通過索引數據庫中已標注好的圖像關鍵詞，完成關鍵詞的匹配檢索圖像。這種檢索方式依靠與圖像相關聯的文本作為檢索的基礎，而文本關鍵詞需要人工事先標注，所以存在標注成本高且效率低的問題，并且人工標注的方式受個人主觀因素的影響。為了彌補TBIR技術的缺陷，CBIR應運而生，并逐漸取代了TBIR，成為本世紀主流的圖像檢索方式。CBIR是基于圖像本身所包含的可視化信息作為檢索根據，例如圖像的顏色、紋理和圖像中物體輪廓等圖像的低層視覺特征。由于其利用的是圖像的低層視覺特征，與人理解圖像的高層語義之間存在著語義鴻溝，所以其檢索效果也有待提高。

面對網絡中數以億計的圖像大數據，如何從圖像本身的內容信息出發，探索如何通過算法提取圖像的視覺特征，進一步將其轉換為人類語言中的高層語義化信息并用于檢索，從而準確迅速地從網絡中檢索出用戶所需的圖像已成為一個亟待解決的問題。

發明內容

鑒于此，本發明要解決的技術問題是提供一種基于圖像中英文描述的電腦照片檢索方法與系統，充分發揮圖像描述技術能夠自動生成描述語句的優勢，實現基于照片關鍵詞句的快速檢索與精確檢索。

為了實現本發明的上述目的，本發明所采用的技術方案如下：

本發明公開了一種基于圖像中英文描述的電腦照片檢索方法，主要步驟包括：

第一步，使用改進的I-NIC模型和RAL模型對電腦照片庫中的照片進行描述，增加圖片的內容信息，將每張照片通過計算機自動生成的中英文描述語句和人名這些語義化信息存入數據庫中，生成對應的照片信息數據庫。

第二步，通過數據庫實現關鍵詞句的圖像檢索，根據關鍵字從數據庫中查找匹配出對應的照片并進行顯示。

所述的基于圖像中英文描述的電腦照片檢索方法，是按下列進行流程實現的：

設置個人電腦照片庫的文件夾路徑，獲取相關照片信息；

對數據庫進行初始化，設置數據庫數據存儲格式；

第一次操作數據庫時，數據庫為空，根據已獲取的照片信息生成對應的圖片中英文描述語句和圖片中的對應的人物信息，將圖片的所有語義化信息自動打包存入到數據庫中，生成初始的數據庫；

當檢測到照片庫中增加照片時，自動調用終端命令，生成中英文描述語句和人物身份信息并存入數據庫。

英文描述語句是利用I-NIC模型生成的。