[發(fā)明專利]基于多層信息融合的注視點(diǎn)檢測方法

有效

• 申請?zhí)枺?/td>: 201710024963.9
• 申請日: 2017-01-16
• 公開（公告）號: CN106815604B
• 公開（公告）日: 2019-09-27
• 發(fā)明（設(shè)計(jì)）人: 李建華;肖迪;盧湖川
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 梅洪玉;侯明遠(yuǎn)

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，基于多層信息融合的注視點(diǎn)檢測方法。由顏色等底層信息得到底層信息檢測結(jié)果圖。利用像素點(diǎn)的空間位置得到中心先驗(yàn)圖。對原始圖像提取候選目標(biāo)框及其CNN深度特征，利用詞袋模型編碼，編碼后的視覺特征送入訓(xùn)練好的多示例RMI?SVM分類器中得到打分，對框中心高斯平滑后根據(jù)目標(biāo)框的打分進(jìn)行加權(quán)疊加得到目標(biāo)級別的檢測結(jié)果圖。對原始圖像本身提取描述圖像整體內(nèi)容的特征，訓(xùn)練softmax回歸器得到融合權(quán)值，采用這個(gè)權(quán)值對上述結(jié)果圖進(jìn)行加權(quán)融合。本發(fā)明綜合利用顏色對比度，顯著目標(biāo)，空間位置這三方面信息，并針對不同的圖像調(diào)節(jié)各種信息占的比重，針對于包含各種內(nèi)容的圖像，本發(fā)明都有較好的檢測率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，涉及到圖像處理相關(guān)知識，特別涉及注視點(diǎn)檢測方法。

背景技術(shù)

在目前高速發(fā)展的社會(huì)中，監(jiān)控?cái)z像頭在城市內(nèi)隨處可見，帶來了一個(gè)很嚴(yán)重的問題就是信息過載。計(jì)算機(jī)視覺技術(shù)面臨的任務(wù)就是在繁多的圖像、視頻文件中快速發(fā)現(xiàn)感興趣的目標(biāo)，所以對于注視點(diǎn)檢測的研究是非常有意義的。注視點(diǎn)的成因是由于候選前景目標(biāo)與場景中的背景在種特定的對比中形成了引起人眼注意的新奇刺激。圖像的注視點(diǎn)檢測是圖像處理中的一個(gè)重要分支。在圖像處理中，注視點(diǎn)檢測往往是作為一種前置操作，應(yīng)用于圖像分割，自適應(yīng)圖像壓縮，基于內(nèi)容的圖像編輯，目標(biāo)檢測與識別，以及圖像檢索等領(lǐng)域。利用視覺顯著性對圖像進(jìn)行分割，從而只關(guān)注顯著區(qū)域，可以很大程度上減少運(yùn)算量，同時(shí)不遺漏較為重要的信息。

Itti L等人在文章“A model of saliency-based visual attention for rapidscene analysis.In PAMI,1998”中先提取原始圖像的顏色亮度特征圖，對亮度圖像進(jìn)行濾波得到方向特征圖。對亮度特征、顏色特征、方向特征三幅圖像分別構(gòu)建高斯金字塔。每種特征經(jīng)過中央—周邊算子運(yùn)算、歸一化、疊加得到顏色、強(qiáng)度、方向三幅顯著圖。對三幅顯著圖進(jìn)行加權(quán)疊加得到最終的顯著圖。此方法能處理一些有著明顯的對比度的圖像，但缺乏對更加能吸引人眼注意的目標(biāo)的檢測。

Hou X等人在文章“Saliency detection:A spectral residual approach.InCVPR,2017”中提出了SR模型，此模型的原理是一幅圖像中的信息可以分為兩部分：目標(biāo)信息和冗余信息，人類的視覺系統(tǒng)可以自動(dòng)過濾掉復(fù)雜環(huán)境中的冗余信息而保留目標(biāo)信息。基于此原理，該算法先對圖像進(jìn)行二維傅立葉變換得到頻域的幅度譜和相位譜。利用低通濾波器對幅度譜進(jìn)行濾波操作得到冗余信息，之后去除原圖像中的這部分信息就得到了顯著圖。SR模型的優(yōu)點(diǎn)是運(yùn)算速度較快，且結(jié)果對參數(shù)不敏感。但該算法存在一些缺點(diǎn)，如對噪聲敏感，而且僅能處理灰度圖像等。

Liang M等人在文章“Predicting eye fixations with higher-level visualfeatures.In TIP,2015”中提出了一種利用更高層信息的注視點(diǎn)檢測模型。利用圖像的sift特征結(jié)合BOW模型計(jì)算顏色和形狀顯著圖。利用object bank目標(biāo)檢測器獲得多張map訓(xùn)練SVM加權(quán)疊加高層信息顯著圖。此模型雖然提出了用目標(biāo)檢測來輔助注視點(diǎn)檢測的思路，但是所采用的目標(biāo)檢測器檢測效果非常有限，對注視點(diǎn)檢測結(jié)果幫助不大。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：自然場景中的圖像多種多樣，采用單一特征信息的檢測方法無法取得較好的檢測效果，例如：圖像中有顏色對比度比較突出的區(qū)域，這樣利用底層的顏色特征信息就可以很好地檢測。若圖像中有一些能吸引人眼注意的目標(biāo)如人臉文字等，則高層的目標(biāo)級別的特征信息更加有效。若圖像顏色對比度不明顯，又沒有吸引人的目標(biāo)，也就是說圖像內(nèi)容比較均勻單一，這樣人眼往往會(huì)看向圖像的中心，這樣空間位置信息又會(huì)起主導(dǎo)作用。本發(fā)明提出了一種檢測方法綜合利用這三種信息，并針對不同的圖像調(diào)節(jié)各種信息占的比重。