[發(fā)明專利]一種基于圖像中英文描述的電腦照片檢索方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010874495.6
• 申請日: 2020-08-26
• 公開（公告）號: CN112015939A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設計）人: 戴亞平;趙凱鑫;紀野;孫佳逸;吳向東;張超穎
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F16/53;G06F16/538;G06F16/51;G06K9/00;G06F40/216;G06F40/126;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于圖像中英文描述的電腦照片檢索系統(tǒng)，其特征在于，該系統(tǒng)包括：圖像中英文描述子系統(tǒng)和個電腦照片檢索子系統(tǒng)兩大部分。

2.根據(jù)權利要求1所述的基于圖像中英文描述的電腦照片檢索系統(tǒng)，其特征在于，所述圖像中英文描述子系統(tǒng)：包括圖像描述語句生成模塊、人臉識別模塊和照片信息數(shù)據(jù)庫模塊。

3.根據(jù)權利要求2所述的圖像中英文描述子系統(tǒng)，其特征在于，所述圖像描述語句生成模塊：

用于生成圖像中英文描述語句時，使用“執(zhí)行系統(tǒng)命令”控件調(diào)用系統(tǒng)命令行，輸入并執(zhí)行生成描述語句的代碼指令，即可完成對I-NIC和RAL模型的自動調(diào)用；

“執(zhí)行系統(tǒng)命令”控件可以調(diào)用Windows系統(tǒng)下的應用程序，系統(tǒng)命令，寄存器管理，腳本文件和批處理文件，其標準輸出為執(zhí)行相應命令后的輸出，對于本文即輸出概率最高的三句中英文描述話語。

4.根據(jù)權利要求2所述的圖像中英文描述子系統(tǒng)，其特征在于，所述圖像描述語句生成模塊：

分別利用I-NIC模型和RAL模型對電腦照片庫中的照片進行英文和中文描述，增加圖片的內(nèi)容信息，將每張照片通過計算機自動生成的中英文描述語句和人名這些語義化信息存入數(shù)據(jù)庫中，生成對應的照片信息數(shù)據(jù)庫。

5.根據(jù)權利要求2所述的圖像中英文描述子系統(tǒng)，其特征在于，所述人臉識別模塊：

首先提取待識別人臉的68個特征點信息，然后與人臉庫中的所有人臉的特征點進行信息匹配，通過計算兩者間的歐式距離，找出最符合的人臉照片并輸出對應的名字；

可以建立多人的人臉庫，對于每一位名人都存有一張正面照片作為參考標準，照片的文件名為對應名人的名字；

對于人臉識別的容錯率設定，默認的值是0.6；

需要使用“執(zhí)行系統(tǒng)命令”控件對系統(tǒng)終端進行調(diào)用。當輸入一張未知照片時，通過調(diào)用Face_Recognition命令行，并傳入人臉庫文件夾路徑，運行即可輸出未知照片中人物的名字。如果照片中識別出的臉沒有對應上已知人臉庫中的任何一個人，則輸出結果為“unknown_person”。

6.根據(jù)權利要求2所述的圖像中英文描述子系統(tǒng)，其特征在于，所述照片信息數(shù)據(jù)庫模塊：

照片信息數(shù)據(jù)庫模塊可選用簡單的Excel表格，也可選用大數(shù)據(jù)量的MySQL數(shù)據(jù)庫；

當選用Excel數(shù)據(jù)庫時，Excel數(shù)據(jù)庫中需保存照片庫中的照片名稱，照片路徑，根據(jù)I-NIC模型和RAL模型生成的圖片中英文描述語句以及根據(jù)人臉識別模塊得到的人物身份信息。Excel數(shù)據(jù)庫中保存信息的格式標題為：照片名稱照片路徑照片英文描述照片中文描述人物姓名；

Excel數(shù)據(jù)庫中每一行存有一張照片的所有語義信息，在LabVIEW軟件設計中使用二維字符串數(shù)據(jù)實現(xiàn)對數(shù)據(jù)庫內(nèi)容的顯示；

當照片庫中的照片增加、刪除和替換時，實時對比照片庫和圖像信息數(shù)據(jù)庫中的文件路徑信息，并根據(jù)兩者的不同對數(shù)據(jù)庫進行對應的操作處理，將對應的將照片信息進行增加、刪除和替換；

當發(fā)生新增的照片名與照片庫中的照片存在重名，在確認將原來的照片用新的照片替換時，需要進行替換操作，該功能使用事件結構的超時分支實現(xiàn)，超時時間設置為1s；

實現(xiàn)數(shù)據(jù)庫實時管理功能時，首先使用“讀取帶分隔符電子表格”控件讀取數(shù)據(jù)庫中保存的文件路徑及文件名稱信息，并保存到一維字符串數(shù)組S1；接著使用“遞歸文件列表”控件讀取照片存儲路徑文件夾下的所有照片名稱；最后利用“MD5檢查文件”控件得到該照片的MD5信息字符串，保存到一維字符串數(shù)組S2。

7.根據(jù)權利要求1所述的基于圖像中英文描述的電腦照片檢索系統(tǒng)，其特征在于，所述電腦照片檢索子系統(tǒng)：包括照片檢索模塊、照片刪除模塊和照片顯示模塊。