[發(fā)明專利]基于四元數(shù)小波變換深度視感知的圖像注視點(diǎn)檢測方法

有效

• 申請?zhí)枺?/td>: 201810500003.X
• 申請日: 2018-05-23
• 公開（公告）號: CN108805866B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 李策;萬玉奇;張棟;賈盛澤;劉昊;張亞超;藍(lán)天
• 申請（專利權(quán)）人: 蘭州理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04
• 代理公司: 蘭州振華專利代理有限責(zé)任公司 62102
• 代理人: 董斌

基于四元數(shù)小波變換深度視感知的圖像注視點(diǎn)檢測方法，包括：步驟1，四元數(shù)小波變換；步驟2，降低待訓(xùn)練特征圖維度；步驟3，計(jì)算注視圖。本發(fā)明將圖像進(jìn)行四元數(shù)小波變換，獲取12幅細(xì)節(jié)子帶圖；使用1×1卷積核構(gòu)建的降低維度的卷積網(wǎng)絡(luò)結(jié)構(gòu)，降低待訓(xùn)練特征圖的維度；使用深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像的注視點(diǎn)特征，并將多個特征圖融合，用于圖像注視點(diǎn)的檢測，從而獲得注視圖。本發(fā)明提出了從圖像的四元數(shù)小波變換產(chǎn)生的細(xì)節(jié)子帶圖中學(xué)習(xí)并提取注視點(diǎn)的特征信息，用于注視點(diǎn)的檢測，獲得了良好的檢測效果，具有重要的理論意義和實(shí)踐價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理、深度學(xué)習(xí)和計(jì)算機(jī)視覺等技術(shù)領(lǐng)域，具體涉及一種基于四元數(shù)小波變換深度視感知的圖像注視點(diǎn)檢測方法。

背景技術(shù)

人類通過視覺系統(tǒng)可以容易的獲取圖像中的重要信息，而傳統(tǒng)的機(jī)器視覺很難較好的檢測出圖像的注視點(diǎn)位置。注視點(diǎn)位置是指，人類在觀察圖像時，視覺注意機(jī)制讓人眼在圖像上的注視點(diǎn)落在感興趣的位置上。隨著電子產(chǎn)品的普及，面對海量的圖像信息，人類越來越需要計(jì)算機(jī)的輔助快速檢測出圖像中的注視點(diǎn)。注視點(diǎn)檢測方法可以用于目標(biāo)檢測和識別等領(lǐng)域，因此，圖像的注視點(diǎn)檢測已經(jīng)成為了研究熱點(diǎn)。

圖像的注視點(diǎn)檢測是心理學(xué)與計(jì)算機(jī)視覺的交叉研究課題之一，在傳統(tǒng)的方法中，僅僅通過圖像的顏色、亮度等人工構(gòu)建的底層特征進(jìn)行注視點(diǎn)的檢測時，很難較好的檢測出人眼感興趣的位置，而深度卷積神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)大的提取圖像特征的能力，可以提取出表征圖像注視點(diǎn)信息的高階特征，因此本發(fā)明采用深度卷積神經(jīng)網(wǎng)絡(luò)提取的高階特征進(jìn)行注視點(diǎn)的檢測。圖像的四元數(shù)小波變換可以產(chǎn)生多個通道、多個方向下的細(xì)節(jié)子帶圖，可以較好的反映出圖像的細(xì)節(jié)特征。基于以上分析，本發(fā)明提出了一種基于四元數(shù)小波變換深度視感知的注視點(diǎn)檢測方法，從圖像的四元數(shù)小波變換產(chǎn)生的細(xì)節(jié)子帶圖進(jìn)行深度學(xué)習(xí)，并提取出圖像中表征注視點(diǎn)信息的特征，用于注視點(diǎn)的檢測。

發(fā)明內(nèi)容

本發(fā)明提出了一種基于四元數(shù)小波變換深度視感知的注視點(diǎn)檢測方法，對圖像進(jìn)行四元數(shù)小波變換后，產(chǎn)生12幅反映圖像細(xì)節(jié)信息的細(xì)節(jié)子帶圖；使用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)表征注視點(diǎn)的特征信息，由于12幅細(xì)節(jié)子帶圖包含的數(shù)據(jù)量較大，為了提高深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，使用1×1卷積核構(gòu)建的網(wǎng)絡(luò)對細(xì)節(jié)子帶圖進(jìn)行降低維度的處理，提取出低維度的待訓(xùn)練特征圖；使用深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練低維度的待訓(xùn)練特征圖；用訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)提取圖像的注視點(diǎn)信息，并進(jìn)行注視點(diǎn)的檢測，得到注視圖。

本發(fā)明的目的是通過下述技術(shù)方案來實(shí)現(xiàn)。

基于四元數(shù)小波變換深度視感知的注視點(diǎn)檢測方法，包括以下步驟：

步驟1，對自然場景圖像進(jìn)行四元數(shù)小波一級分解，采用低通濾波器、高通濾波器對圖像的行像素、列像素分別進(jìn)行不同組合方式的濾波處理，獲得4個通道，即低通和低通、低通和高通、高通和低通、高通和高通，和三個方向，即水平、垂直、對角上的12幅細(xì)節(jié)子帶圖和4個通道上的4幅近似圖；

步驟2，使用1×1卷積核構(gòu)建的降低維度的卷積網(wǎng)絡(luò)結(jié)構(gòu)，對12幅細(xì)節(jié)子帶圖進(jìn)行降低維度的處理，從12幅細(xì)節(jié)子帶圖中提取出可以更好表征圖像細(xì)節(jié)信息的3幅細(xì)節(jié)特征圖，用于提取圖像注視點(diǎn)的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練；

步驟3，基于降低維度的卷積網(wǎng)絡(luò)提取的細(xì)節(jié)特征圖，采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，建立細(xì)節(jié)特征圖與圖像注視點(diǎn)之間的映射網(wǎng)絡(luò)，并采用訓(xùn)練好的降低維度的卷積網(wǎng)絡(luò)和深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行注視點(diǎn)的檢測。

優(yōu)選地，步驟1進(jìn)一步包括：本發(fā)明中的四元數(shù)小波變換是指雙樹四元數(shù)二維離散小波變換，圖像的四元數(shù)小波變換是由實(shí)數(shù)小波變換和二維的希爾伯特變換共同構(gòu)成，通過二維的希爾伯特變換構(gòu)造四元數(shù)小波變換的標(biāo)準(zhǔn)正交基，對圖像進(jìn)行四元數(shù)小波變換，可以獲得四個通道的小波系數(shù)，即12幅細(xì)節(jié)子帶圖和4幅近似圖。具體通過下述步驟實(shí)現(xiàn)：

1)如果用和ψ分別表示四元數(shù)小波變換的小波尺度函數(shù)和小波基函數(shù)，則沿水平方向x、垂直方向y和對角方向xy的希爾伯特變換分別可以表示為：