[發(fā)明專(zhuān)利]用戶(hù)興趣區(qū)域與反饋引導(dǎo)的圖片精準(zhǔn)檢索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011641876.6
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112685591A
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 李蕊男;王斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 荊門(mén)匯易佳信息科技有限公司
• 主分類(lèi)號(hào): G06F16/583
• 分類(lèi)號(hào): G06F16/583;G06K9/46;G06K9/62;G06N3/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.用戶(hù)興趣區(qū)域與反饋引導(dǎo)的圖片精準(zhǔn)檢索方法，其特征在于，將獲取用戶(hù)感興趣區(qū)域和引入用戶(hù)反饋信息引導(dǎo)檢索過(guò)程，提出基于人眼關(guān)注模型和用戶(hù)反饋的圖片檢索方法，包括基于人眼關(guān)注模型的圖片檢索和基于用戶(hù)反饋的圖片檢索方法，首先基于視覺(jué)顯著性模型，改良視覺(jué)顯著性模型并提出人眼關(guān)注計(jì)算模型整體架構(gòu)，提取用戶(hù)感興趣的圖像區(qū)域；其次解析圖像特征提取方法，選擇采用BoF特征；在提取目標(biāo)興趣區(qū)域、圖像特征提取、初步檢索的基礎(chǔ)上，基于SVM的用戶(hù)反饋算法，引入微粒群優(yōu)化算法對(duì)反饋學(xué)習(xí)過(guò)程進(jìn)行改進(jìn)，建立融合SVM與PSO的S-P用戶(hù)反饋引導(dǎo)算法；

基于人眼關(guān)注模型的圖片檢索包括生成顯著性圖、提取顯著性區(qū)域、提取顯著性區(qū)域方法的改良、提取特征向量，生成顯著性圖包括提取初級(jí)視覺(jué)特征、生成特征圖、合并特征圖與生成顯著性圖、關(guān)注焦點(diǎn)的定位和遷移，提取特征向量包括提取局部圖像特征、視覺(jué)詞典的生成、特征描述編碼，基于人眼關(guān)注模型的感興趣區(qū)域提取，采用視覺(jué)顯著性模型的人眼關(guān)注模型為基礎(chǔ)，對(duì)其中生成顯著性圖、顯著性區(qū)域提取關(guān)鍵步驟進(jìn)行改良，基于人眼關(guān)注計(jì)算模型整體架構(gòu)，提出BoF特征的構(gòu)建過(guò)程，包括局部圖像特征提取，生成視覺(jué)詞典、特征量化和編碼及特征的匯集步驟，得到基于顯著性區(qū)域提取的圖片檢索算法流程；

基于用戶(hù)反饋的圖片檢索方法包括SVM和微粒群優(yōu)化算法相融合的用戶(hù)反饋、基于人眼關(guān)注模型和S-P用戶(hù)反饋的圖片檢索方法，SVM和微粒群優(yōu)化算法相融合的用戶(hù)反饋包括微粒群優(yōu)化算法與SVM的結(jié)合、微粒群優(yōu)化算法優(yōu)化特征選取、基于微粒群優(yōu)化算法的SVM參數(shù)優(yōu)化、微粒群優(yōu)化算法優(yōu)化正負(fù)樣本的選取，在基于人眼關(guān)注模型的圖片檢索過(guò)程中引入用戶(hù)反饋，反饋過(guò)程分成以下三個(gè)步驟：

步驟一，初次檢索：用戶(hù)首先提交一個(gè)實(shí)例圖片，系統(tǒng)將用戶(hù)提交的示例轉(zhuǎn)交為特征向量表達(dá)，與圖片庫(kù)中的圖片進(jìn)行特征關(guān)聯(lián)性比較，根據(jù)與查詢(xún)圖片的關(guān)聯(lián)性從大到小排序，并將前N個(gè)結(jié)果返回給用戶(hù)；

步驟二，用戶(hù)根據(jù)檢索結(jié)果，將符合要求的正例圖片標(biāo)記出來(lái)，排除負(fù)例圖片，并將這一結(jié)果反饋給系統(tǒng)，系統(tǒng)根據(jù)用戶(hù)的反饋信息對(duì)算法參數(shù)或者檢索規(guī)則進(jìn)行修改，然后進(jìn)行新一輪檢索；

步驟三，反饋多次，能夠滿(mǎn)足用戶(hù)需求后，查詢(xún)結(jié)束；

將粒子群優(yōu)化算法引入到用戶(hù)反饋過(guò)程中，對(duì)反饋學(xué)習(xí)過(guò)程進(jìn)行優(yōu)化，建立融合SVM與PSO的S-P用戶(hù)反饋引導(dǎo)算法。

2.根據(jù)權(quán)利要求1所述的用戶(hù)興趣區(qū)域與反饋引導(dǎo)的圖片精準(zhǔn)檢索方法，其特征在于，提取初級(jí)視覺(jué)特征：對(duì)于彩色圖片的輸入，通過(guò)線(xiàn)性濾波提取亮度、方向及色彩三種初級(jí)視覺(jué)特征，其中亮度用一個(gè)亮度特征通道描述，色彩特征包括紅綠(RG)和藍(lán)黃(BY)二個(gè)特征，方向特征采用Gabor濾波，包括四個(gè)方向的特征，初級(jí)視覺(jué)特征一共有七個(gè)子特征；

對(duì)于方向特征，首先提取亮度特征，使用Gabor濾波器在0度、45度、90度、135度四個(gè)方向上進(jìn)行濾波獲取；對(duì)于亮度特征，通過(guò)彩色圖片的RGB三分量平均值表示；對(duì)于色彩特征維度，計(jì)算紅與綠、藍(lán)與黃色彩之間的差值圖來(lái)表示出不同反差效果，公式為：

本發(fā)明根據(jù)生物視覺(jué)色彩感知機(jī)理，對(duì)色彩特征通道引入方向和對(duì)比度信息，從生物學(xué)角度，對(duì)色彩的處理沿視網(wǎng)膜-側(cè)膝體-U1-U2-PIT-IT腹側(cè)通路完成，其中在U1區(qū)，由Double-Opponent型神經(jīng)元形成RG、BY和亮度通路，其中RG和BY又分別包括色彩對(duì)抗信息，這兩種色彩通路表現(xiàn)出對(duì)比度敏銳性，構(gòu)造的受納野數(shù)學(xué)模型，函數(shù)為：

T(x，y，λ)＝d_HH(λ)t_H(x，y)+d_NN(λ)t_N(x，y)+d_CC(λ)t_C(x，y)

其中，(x，y)為圖像的坐標(biāo)位置，H(λ)、N(λ)、C(λ)分別對(duì)應(yīng)圖片的RGB三通道，t_H、t_N、t_C表示每個(gè)輸入的空間敏銳度分布情況，也表示其受納野形狀，近似用高斯差分DOG函數(shù)代替，d_H、d_N、d_C為系數(shù)；

求出RG、BY特征通道響應(yīng)，對(duì)于紅綠通道，首先用DOG濾波器的正分量作為卷積模板對(duì)圖片的R通道進(jìn)行卷積，G通道則用負(fù)分量作為卷積模板進(jìn)行卷積，然后再求出RG通道響應(yīng)。