[發(fā)明專利]一種基于多重顏色特征流形排序的圖像顯著區(qū)域提取方法

有效

• 申請?zhí)枺?/td>: 201911346030.7
• 申請日: 2019-12-24
• 公開（公告）號: CN111091129B
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 李曉莉;李暢;片錦香;陶寧
• 申請（專利權(quán)）人: 沈陽建筑大學(xué)
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/56;G06V10/46;G06V10/50
• 代理公司: 沈陽東大知識產(chǎn)權(quán)代理有限公司 21109
• 代理人: 李在川

1.一種基于多重顏色特征流形排序的圖像顯著區(qū)域提取方法，其特征在于：包括以下步驟：

步驟1：圖像預(yù)處理；對原圖像進(jìn)行顏色空間轉(zhuǎn)換，將圖像RGB顏色空間轉(zhuǎn)換為CIELab顏色空間，并對轉(zhuǎn)換后的圖像進(jìn)行超像素分割，得到處理后圖像；采用SLIC算法對圖像進(jìn)行超像素分割，得到超像素塊集合X＝{x₁、x₂、…、x_n},其中n是超像素塊個數(shù)；

步驟2：圖像特征提??；在步驟1得到的處理后圖像上以超像素作為節(jié)點(diǎn)構(gòu)造圖模型，提取顏色均值特征和直方圖特征，在圖模型上分別以兩種特征利用流形排序方法計(jì)算所有節(jié)點(diǎn)的顯著性值f₁和f₂；

步驟3：顯著圖融合；將步驟2得到的f₁和f₂分別進(jìn)行歸一化，并將歸一化后的數(shù)據(jù)進(jìn)行等比例線性融合得到圖像顯著性值f′，并生成顯著圖S；

所述步驟2還包括如下步驟：

步驟2.1：以超像素作為節(jié)點(diǎn)構(gòu)造圖模型；在數(shù)據(jù)集X上定義一個圖G＝(V，E)，圖G的節(jié)點(diǎn)V由數(shù)據(jù)集X組成，兩個節(jié)點(diǎn)之間邊E權(quán)重為w_ij；

步驟2.2：獲取處理后圖像顏色均值特征和直方圖特征；

步驟2.2.1：提取處理后圖像CIELab顏色空間中所有超像素塊的顏色均值特征集合C＝{c₁、c₂、…、c_n},其中c_n＝(lⁿ,aⁿ,bⁿ)^T代表超像素塊n中所有像素點(diǎn)的顏色均值特征，lⁿ代表超像素塊n中所有像素點(diǎn)l通道的顏色均值，aⁿ代表超像素塊n中所有像素點(diǎn)a通道的顏色均值，bⁿ代表超像素塊n中所有像素點(diǎn)b通道的顏色均值；

步驟2.2.2：提取處理后圖像CIELab顏色直方圖特征H；將每個超像素的l通道量化為o個柱,a通道量化為m個柱,b通道量化為z個柱，得到CIELab顏色直方圖特征向量集合H＝{h₁、h₂、…、h_n},其中代表超像素塊n組成的o+m+z維的CIELab顏色直方圖特征向量；

步驟2.3：根據(jù)顏色均值特征采用流形排序方法計(jì)算前景顯著性值f₁；

步驟2.3.1：采用背景先驗(yàn)，以處理后圖像四周邊界區(qū)域的超像素節(jié)點(diǎn)作為查詢節(jié)點(diǎn)，分別得到上邊界的前景顯著圖S1、下邊界的前景顯著圖S2、左邊界的前景顯著圖S3和右邊界的前景顯著圖S4；

具體包括如下步驟：首先以處理后圖像的上邊界區(qū)域中超像素節(jié)點(diǎn)為查詢節(jié)點(diǎn)，其他節(jié)點(diǎn)作為未被標(biāo)記的節(jié)點(diǎn)，判斷節(jié)點(diǎn)x_i是否為查詢節(jié)點(diǎn)，若是，則y_i＝1，若否，則y_i＝0，得出指示向量Y＝[y₁,y₂，…，y_n]^T，根據(jù)權(quán)值計(jì)算出圖模型關(guān)聯(lián)矩陣W＝[w_ij]_n×n和圖模型度矩陣D，其中，i,j∈V，n為節(jié)點(diǎn)個數(shù)，c_i和c_j表示節(jié)點(diǎn)i和節(jié)點(diǎn)j的顏色平均值，||·||表示歐式距離，δ是權(quán)重常數(shù)，用來控制c_i到c_j邊的權(quán)重；度矩陣D＝diag{d₁₁,…,d_ii,…,d_nn},其中在圖模型G上根據(jù)顯著值公式f＝(D-αW)^-1Y得出上邊界區(qū)域的顯著值f_p，即為所有節(jié)點(diǎn)相對于查詢節(jié)點(diǎn)的排序值，其中Y代表指示向量，α為約束系數(shù)，歸一化顯著值f_p到[0,1]得到f'_p，并計(jì)算f″_p＝1-f'_p，根據(jù)f″_p得到以上邊界為查詢節(jié)點(diǎn)的顯著圖S1；重復(fù)本步驟，分別計(jì)算出以處理后圖像的下邊界區(qū)域、左邊界區(qū)域、右邊界區(qū)域的超像素節(jié)點(diǎn)作為查詢節(jié)點(diǎn)的前景顯著圖S2、S3、S4；

步驟2.3.2：將前景顯著圖S1、S2、S3、S4進(jìn)行融合，得到顯著圖S_c＝S1×S2×S3×S4,對S_c進(jìn)行自適應(yīng)閾值分割，閾值為前景顯著圖S_c的平均顯著值，將大于等于閾值的點(diǎn)作為前景種子節(jié)點(diǎn)，判斷節(jié)點(diǎn)x_i是否為前景種子節(jié)點(diǎn)，若是，則y′_i＝1，若否，則y′_i＝0，得出指示向量Y′＝[y′₁,y′₂，…，y′_n]^T，根據(jù)顯著值公式f＝(D-αW)^-1Y得出顯著值f^*，歸一化顯著值f^*到[0,1]，得到f₁^*，并計(jì)算f₁＝1-f₁^*，得到前景顯著圖S_c的前景顯著性值f₁；

步驟2.4：根據(jù)直方圖特征采用流形排序方法計(jì)算前景顯著性值f₂；

步驟2.4.1：采用背景先驗(yàn)，以處理后圖像四周邊界區(qū)域的超像素節(jié)點(diǎn)作為查詢節(jié)點(diǎn)，得到上邊界的前景顯著圖S5、下邊界的前景顯著圖S6、左邊界的前景顯著圖S7、右邊界的前景顯著圖S8；

具體包括如下步驟：首先以處理后圖像的上邊界區(qū)域中超像素節(jié)點(diǎn)為查詢節(jié)點(diǎn)，其他節(jié)點(diǎn)作為未被標(biāo)記的節(jié)點(diǎn)，判斷節(jié)點(diǎn)x_i是否為查詢節(jié)點(diǎn)，若是，則y″_i＝1，若否，則y″_i＝0，得出指示向量Y″＝[y″₁,y″₂,…,y″_n]^T，根據(jù)權(quán)值計(jì)算出圖模型關(guān)聯(lián)矩陣W′＝[w′_ij]_n×n和圖模型度矩陣D′，其中，d_{bhattacharrya}(H_i,H_j)代表節(jié)點(diǎn)i的顏色直方圖H_i到節(jié)點(diǎn)j的顏色直方圖H_j的巴氏距離，δ是權(quán)重常數(shù)，用來控制邊的權(quán)重，度矩陣D′＝diag{d′₁₁、d′₂₂、…、d′_ii、…、d′_nn},其中在圖模型G上根據(jù)顯著值公式f＝(D-αW)^-1Y得出上邊界區(qū)域的顯著值f_H，歸一化顯著值f_H到[0,1]得到f′_H，并計(jì)算f″_H＝1-f′_H，根據(jù)f″_H得到以上邊界為查詢節(jié)點(diǎn)的顯著圖S5，重復(fù)本步驟，分別計(jì)算出以處理后圖像的下邊界區(qū)域、左邊界區(qū)域、右邊界區(qū)域的超像素節(jié)點(diǎn)作為查詢節(jié)點(diǎn)的前景顯著圖S6、S7、S8；

步驟2.4.2：將前景顯著圖S5、S6、S7、S8進(jìn)行融合，得到顯著圖S_H＝S5×S6×S7×S8,對S_H進(jìn)行自適應(yīng)閾值分割，閾值為顯著圖S_H的平均顯著值，將大于等于閾值的點(diǎn)作為前景種子節(jié)點(diǎn)，判斷節(jié)點(diǎn)x_i是否為前景種子節(jié)點(diǎn)，若是，則y″′_i＝1，若否，則y″′_i＝0，得出指示向量Y″′＝[y″′₁,y″′₂,…,y″′_n]^T，根據(jù)顯著值公式f＝(D-αW)^-1Y得出顯著值歸一化顯著值到[0,1]，得到并計(jì)算得到前景顯著圖S_H的前景顯著性值f₂。

2.根據(jù)權(quán)利要求1所述的一種基于多重顏色特征流形排序的圖像顯著區(qū)域提取方法，其特征在于：所述步驟2.4.1中的巴氏距離d_{bhattacharrya}(H_i,H_j)的具體公式為：

其中，N代表直方圖的柱數(shù)。