[發(fā)明專利]用戶興趣區(qū)域與反饋引導(dǎo)的圖片精準(zhǔn)檢索方法

在審

• 申請?zhí)枺?/td>: 202011641876.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112685591A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 李蕊男;王斌
• 申請（專利權(quán)）人: 荊門匯易佳信息科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/46;G06K9/62;G06N3/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.用戶興趣區(qū)域與反饋引導(dǎo)的圖片精準(zhǔn)檢索方法，其特征在于，將獲取用戶感興趣區(qū)域和引入用戶反饋信息引導(dǎo)檢索過程，提出基于人眼關(guān)注模型和用戶反饋的圖片檢索方法，包括基于人眼關(guān)注模型的圖片檢索和基于用戶反饋的圖片檢索方法，首先基于視覺顯著性模型，改良視覺顯著性模型并提出人眼關(guān)注計算模型整體架構(gòu)，提取用戶感興趣的圖像區(qū)域；其次解析圖像特征提取方法，選擇采用BoF特征；在提取目標(biāo)興趣區(qū)域、圖像特征提取、初步檢索的基礎(chǔ)上，基于SVM的用戶反饋算法，引入微粒群優(yōu)化算法對反饋學(xué)習(xí)過程進(jìn)行改進(jìn)，建立融合SVM與PSO的S-P用戶反饋引導(dǎo)算法；

基于人眼關(guān)注模型的圖片檢索包括生成顯著性圖、提取顯著性區(qū)域、提取顯著性區(qū)域方法的改良、提取特征向量，生成顯著性圖包括提取初級視覺特征、生成特征圖、合并特征圖與生成顯著性圖、關(guān)注焦點(diǎn)的定位和遷移，提取特征向量包括提取局部圖像特征、視覺詞典的生成、特征描述編碼，基于人眼關(guān)注模型的感興趣區(qū)域提取，采用視覺顯著性模型的人眼關(guān)注模型為基礎(chǔ)，對其中生成顯著性圖、顯著性區(qū)域提取關(guān)鍵步驟進(jìn)行改良，基于人眼關(guān)注計算模型整體架構(gòu)，提出BoF特征的構(gòu)建過程，包括局部圖像特征提取，生成視覺詞典、特征量化和編碼及特征的匯集步驟，得到基于顯著性區(qū)域提取的圖片檢索算法流程；

基于用戶反饋的圖片檢索方法包括SVM和微粒群優(yōu)化算法相融合的用戶反饋、基于人眼關(guān)注模型和S-P用戶反饋的圖片檢索方法，SVM和微粒群優(yōu)化算法相融合的用戶反饋包括微粒群優(yōu)化算法與SVM的結(jié)合、微粒群優(yōu)化算法優(yōu)化特征選取、基于微粒群優(yōu)化算法的SVM參數(shù)優(yōu)化、微粒群優(yōu)化算法優(yōu)化正負(fù)樣本的選取，在基于人眼關(guān)注模型的圖片檢索過程中引入用戶反饋，反饋過程分成以下三個步驟：

步驟一，初次檢索：用戶首先提交一個實例圖片，系統(tǒng)將用戶提交的示例轉(zhuǎn)交為特征向量表達(dá)，與圖片庫中的圖片進(jìn)行特征關(guān)聯(lián)性比較，根據(jù)與查詢圖片的關(guān)聯(lián)性從大到小排序，并將前N個結(jié)果返回給用戶；

步驟二，用戶根據(jù)檢索結(jié)果，將符合要求的正例圖片標(biāo)記出來，排除負(fù)例圖片，并將這一結(jié)果反饋給系統(tǒng)，系統(tǒng)根據(jù)用戶的反饋信息對算法參數(shù)或者檢索規(guī)則進(jìn)行修改，然后進(jìn)行新一輪檢索；

步驟三，反饋多次，能夠滿足用戶需求后，查詢結(jié)束；

將粒子群優(yōu)化算法引入到用戶反饋過程中，對反饋學(xué)習(xí)過程進(jìn)行優(yōu)化，建立融合SVM與PSO的S-P用戶反饋引導(dǎo)算法。

2.根據(jù)權(quán)利要求1所述的用戶興趣區(qū)域與反饋引導(dǎo)的圖片精準(zhǔn)檢索方法，其特征在于，提取初級視覺特征：對于彩色圖片的輸入，通過線性濾波提取亮度、方向及色彩三種初級視覺特征，其中亮度用一個亮度特征通道描述，色彩特征包括紅綠(RG)和藍(lán)黃(BY)二個特征，方向特征采用Gabor濾波，包括四個方向的特征，初級視覺特征一共有七個子特征；

對于方向特征，首先提取亮度特征，使用Gabor濾波器在0度、45度、90度、135度四個方向上進(jìn)行濾波獲取；對于亮度特征，通過彩色圖片的RGB三分量平均值表示；對于色彩特征維度，計算紅與綠、藍(lán)與黃色彩之間的差值圖來表示出不同反差效果，公式為：

本發(fā)明根據(jù)生物視覺色彩感知機(jī)理，對色彩特征通道引入方向和對比度信息，從生物學(xué)角度，對色彩的處理沿視網(wǎng)膜-側(cè)膝體-U1-U2-PIT-IT腹側(cè)通路完成，其中在U1區(qū)，由Double-Opponent型神經(jīng)元形成RG、BY和亮度通路，其中RG和BY又分別包括色彩對抗信息，這兩種色彩通路表現(xiàn)出對比度敏銳性，構(gòu)造的受納野數(shù)學(xué)模型，函數(shù)為：

T(x，y，λ)＝d_HH(λ)t_H(x，y)+d_NN(λ)t_N(x，y)+d_CC(λ)t_C(x，y)

其中，(x，y)為圖像的坐標(biāo)位置，H(λ)、N(λ)、C(λ)分別對應(yīng)圖片的RGB三通道，t_H、t_N、t_C表示每個輸入的空間敏銳度分布情況，也表示其受納野形狀，近似用高斯差分DOG函數(shù)代替，d_H、d_N、d_C為系數(shù)；

求出RG、BY特征通道響應(yīng)，對于紅綠通道，首先用DOG濾波器的正分量作為卷積模板對圖片的R通道進(jìn)行卷積，G通道則用負(fù)分量作為卷積模板進(jìn)行卷積，然后再求出RG通道響應(yīng)。