[發(fā)明專利]基于多核增強(qiáng)和顯著性融合的RGBD圖像協(xié)同顯著性檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710250065.5
• 申請(qǐng)日: 2017-04-17
• 公開（公告）號(hào): CN107169417B
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 劉志;吳莉珊;宋杭科
• 申請(qǐng)（專利權(quán)）人: 上海大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T7/00;G06T7/136;G06T7/194
• 代理公司: 上海上大專利事務(wù)所(普通合伙) 31205
• 代理人: 顧勇華

本發(fā)明公開了一種基于多核增強(qiáng)和顯著性融合的RGBD圖像協(xié)同顯著性檢測(cè)方法。具體步驟為：(1)、將一組具有共同顯著對(duì)象的彩色圖像分割成若干區(qū)域，并計(jì)算單張RGBD圖像顯著性圖；(2)、樣本選擇，選出最優(yōu)聚類結(jié)果中類協(xié)同顯著性值最大的那個(gè)類，將這個(gè)類中的區(qū)域作為正樣本，將單張圖像顯著性值低于閾值的區(qū)域作為負(fù)樣本；(3)、用圖像隨機(jī)采樣的方法生成不同的訓(xùn)練集來學(xué)習(xí)多個(gè)不同的模型，以得到基于多核增強(qiáng)的協(xié)同顯著性圖；(4)、將步驟(3)得到的基于多核增強(qiáng)的協(xié)同顯著性圖和步驟(2)得到的基協(xié)同顯著性圖進(jìn)行線性融合，得到融合協(xié)同顯著性圖，并評(píng)價(jià)每張融合協(xié)同顯著性圖的質(zhì)量，以這個(gè)質(zhì)量評(píng)價(jià)為權(quán)重進(jìn)行自適應(yīng)的融合，得到最后的RGBD圖像的協(xié)同顯著性圖。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像協(xié)同顯著性檢測(cè)方法，特別是一種基于多核增強(qiáng)和顯著性融合的 RGBD圖像(RGB彩色圖像與其對(duì)應(yīng)的深度圖像)協(xié)同顯著性檢測(cè)方法，旨在從一組具有共同顯著對(duì)象的RGBD圖像集中檢測(cè)出共同顯著的對(duì)象。

背景技術(shù)

隨著互聯(lián)網(wǎng)和多媒體技術(shù)的蓬勃發(fā)展，人們可以從越來越多的領(lǐng)域如監(jiān)控視頻，社交網(wǎng)絡(luò)，新聞報(bào)道等中獲取圖像的信息。因此，如何抓取圖像中的關(guān)鍵信息是當(dāng)今人們關(guān)注的焦點(diǎn)。顯著性檢測(cè)是一個(gè)具有挑戰(zhàn)性的領(lǐng)域，旨在提取圖像或視頻中人們所關(guān)注的主要對(duì)象的區(qū)域，而協(xié)同顯著對(duì)象檢測(cè)作為視覺顯著性的一個(gè)新興的分支，目的是從一組相關(guān)圖像集中提取出共同顯著的對(duì)象。協(xié)同顯著對(duì)象檢測(cè)已經(jīng)被廣泛地應(yīng)用于圖像/視頻協(xié)同分割，對(duì)象協(xié)同定位，以及弱監(jiān)督對(duì)象檢測(cè)等領(lǐng)域。近年來，隨著立體照相機(jī)、深度照相機(jī)以及Kinect傳感器的廣泛應(yīng)用，深度信息已經(jīng)被用到RGBD圖像協(xié)同顯著性檢測(cè)中。2015年，F(xiàn)u等人提出一種利用深度信息的基于對(duì)象的協(xié)同分割算法，能有效處理共有對(duì)象沒有或者出現(xiàn)不止一次的噪聲圖像，利用幾個(gè)現(xiàn)存性能較好的RGB顯著性檢測(cè)模型、協(xié)同顯著性模型以及RGBD顯著性模型，根據(jù)秩約束融合各個(gè)模型得到的顯著性圖來得到最終的 RGBD協(xié)同顯著性圖，但忽略了不同RGBD圖像間深度信息的相關(guān)性。2016年，Song等人基于Bagging的聚類提出一個(gè)RGBD協(xié)同顯著性檢測(cè)的框架，針對(duì)不同的RGBD圖像集有效地選擇不同的特征進(jìn)行協(xié)同顯著對(duì)象的聚類和檢測(cè)。首先根據(jù)單個(gè)圖像顯著性圖和區(qū)域預(yù)分割生成候選對(duì)象區(qū)域，然后對(duì)特征進(jìn)行有放回地隨機(jī)抽樣來得到多次聚類結(jié)果，最后評(píng)價(jià)聚類效果將其作融合權(quán)重，生成最后的協(xié)同顯著性圖。但就RGBD協(xié)同顯著性檢測(cè)而言，仍有很大的發(fā)展空間。

發(fā)明內(nèi)容

本發(fā)明的目的在于提高現(xiàn)有技術(shù)的性能，提出一種基于多核增強(qiáng)和顯著性融合的RGBD圖像協(xié)同顯著性檢測(cè)方法，該方法利用深度信息能夠更為準(zhǔn)確地提取出RGBD圖像組中出現(xiàn)的共同對(duì)象，并且有效地抑制無關(guān)的背景區(qū)域。

為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于多核增強(qiáng)和顯著性融合的RGBD圖像協(xié)同顯著性檢測(cè)方法，其特征在于該方法的具體步驟如下：

a.輸入原始圖像和深度圖像N表示圖像的總張數(shù)，用基于隨機(jī)森林的RGBD顯著性模型得到單張圖像的RGBD顯著性圖，再采用基于輪廓的圖像分割算法對(duì)輸入的原始圖像進(jìn)行預(yù)分割，每張圖像被分為Q個(gè)區(qū)域，表示圖像I_n的每個(gè)區(qū)域，用該區(qū)域所有像素點(diǎn)的單張RGBD顯著性值的平均值作為該區(qū)域的RGBD顯著性值，將區(qū)域的RGBD顯著性值大于閾值T1的區(qū)域選為候選對(duì)象區(qū)域；

b.將步驟a所得的候選對(duì)象區(qū)域進(jìn)行聚類，根據(jù)聚類結(jié)果選擇候選的正負(fù)樣本：取聚類質(zhì)量最好的那次聚類結(jié)果，得到基協(xié)同顯著性圖把這次聚類結(jié)果中聚類顯著性值最大的那個(gè)類的區(qū)域作為正的候選樣本，取顯著性值低于某個(gè)設(shè)定的閾值T2且位于圖像四周的區(qū)域作為負(fù)的候選樣本，所述的聚類顯著性值由以下三個(gè)值決定：這個(gè)類中的所有區(qū)域的平均顯著性值，這個(gè)類中所有區(qū)域的各個(gè)特征間的歐式距離，以及這個(gè)類中區(qū)域所屬的圖像張數(shù)占總圖像張數(shù)的比例；