[發(fā)明專利]基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測方法

在審

• 申請?zhí)枺?/td>: 202011011518.7
• 申請日: 2020-09-23
• 公開（公告）號: CN112257509A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計）人: 周武杰;柳昌;郭沁玲;雷景生;周揚;強芳芳;楊勝英
• 申請（專利權(quán)）人: 浙江科技學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

本發(fā)明公開一種基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測方法。采集原始立體圖像的彩色信息圖、深度信息圖及對應(yīng)的真實場景標簽圖作為訓(xùn)練集；構(gòu)建端到端的單流卷積神經(jīng)網(wǎng)絡(luò)；將訓(xùn)練集輸入到構(gòu)建的端到端的單流卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；待測的立體圖像輸入到單流卷積神經(jīng)網(wǎng)絡(luò)后預(yù)測處理，輸出結(jié)果。本發(fā)明解決了復(fù)雜場景、復(fù)雜結(jié)構(gòu)、低對比度場景識別不準確的問題，在公開測試集上預(yù)測顯著圖結(jié)果清晰，目標準確。

技術(shù)領(lǐng)域

本發(fā)明涉及一種視覺顯著性檢測方法，尤其是涉及一種基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測方法。

背景技術(shù)

人類為了避免大腦的過度運算進化出了一種叫做注意力機制的視覺機制，當視覺場景通過眼睛傳入大腦進行運算的時候，人類自覺對場景的各個物體進行選擇性處理，側(cè)重關(guān)注自己感興趣的一部分。計算機視覺任務(wù)中顯著性檢測由此而來。

傳統(tǒng)的顯著性檢測通過手工提取特征達到預(yù)測顯著性的功能，但傳統(tǒng)方法的效率和精度遠遠跟不上工業(yè)發(fā)展和應(yīng)用。自從1994年LeNet被Lecun提出以來，選擇一個更簡單高效的方法去完成這些計算機視覺任務(wù)成為了研究者們新的目標，但因為硬件上的限制和網(wǎng)絡(luò)深度的緣由，此項工作進展苦難重重，少有方法能達到理想的結(jié)果。近年來，VGGNet和ResNet的提出突破了神經(jīng)網(wǎng)絡(luò)深度的限制，深度學(xué)習(xí)方法在顯著性檢測上不斷刷新各項指標，本發(fā)明同樣建立在這個背景之下。通過彩色圖像進行顯著性檢測已經(jīng)能達到很好的結(jié)果，然而在某些場景上依舊存在問題，如復(fù)制場景、低對比度，結(jié)構(gòu)復(fù)雜圖像等。隨著傳感器等硬件設(shè)施的反戰(zhàn)，深度圖像有效的彌補了輸入信息的不足，深度圖像能在二維圖像中通過像素值大小表示目標物體的近遠程度，由此深度輔助彩色信息圖建立起一個具有立體信息圖像的輸入數(shù)據(jù)成為現(xiàn)有顯著性檢測比較有效的方法。

現(xiàn)有的深度圖輔助彩色信息圖的方法大多通過建立兩個基礎(chǔ)網(wǎng)絡(luò)，但是這樣帶來的問題是計算機算力的消耗，無效的跨模態(tài)溝通不但不能增加模型的精度，反倒會給模型生成的顯著圖帶來噪聲，我們在吸取現(xiàn)有網(wǎng)絡(luò)的經(jīng)驗上建立了一個編碼聯(lián)合信息處理，解碼多模態(tài)分離的網(wǎng)絡(luò)，這樣的網(wǎng)絡(luò)采用一個基礎(chǔ)網(wǎng)絡(luò)預(yù)訓(xùn)練來節(jié)省算力，而后通過高低特征特異性處理，聯(lián)合信息彩色信息分離運算來使我們的方法運算效率大大增加，在運算效率增加的同時我們的精度也有所上升，實驗證明我們的方法生成的顯著圖具有較高精度，在多目標、結(jié)構(gòu)復(fù)雜場景檢測優(yōu)秀。

發(fā)明內(nèi)容

為了解決背景技術(shù)中的問題，本發(fā)明提供了一種基于聯(lián)合信息編碼的單流視覺顯著性檢測方法；通過對立體信息進行聯(lián)合信息編碼操作，采用單流網(wǎng)絡(luò)模型結(jié)構(gòu)，在節(jié)省算力的同時不降低精度，又使用特異性分離操作的策略，本發(fā)明對高低級特征、彩色信息、聯(lián)合信息有各自單獨的處理方法，對低級特征通過反轉(zhuǎn)注意力關(guān)注更多邊界信息，對高級特征通過多尺度語義提取塊關(guān)注更多高級語義信息，對于彩色信息提取高級特征進行聚合操作，之后將所有分離操作的信息流依次結(jié)合起來并實行多層次監(jiān)督。本發(fā)明解決了復(fù)雜場景、復(fù)雜結(jié)構(gòu)、低對比度場景識別不準確的問題，在公開測試集上預(yù)測顯著圖結(jié)果清晰，目標準確。

本發(fā)明采用的技術(shù)方案包括以下步驟：

步驟1：選取N幅原始立體圖像的彩色信息圖、深度信息圖及對應(yīng)的真實場景標簽圖作為訓(xùn)練集；

步驟2：構(gòu)建端到端的單流卷積神經(jīng)網(wǎng)絡(luò)，單流卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層；隱藏層包括五個依次連接的神經(jīng)網(wǎng)絡(luò)塊、三個自適應(yīng)卷積塊、五個信息融合塊、三個反轉(zhuǎn)注意力層、一個多尺度語義提取塊和三個二次殘差注意力塊，輸出層主要由五個輸出層組成；

步驟3：將步驟1得到的訓(xùn)練集輸入到步驟2構(gòu)建的單流卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練：訓(xùn)練過程中，每次迭代訓(xùn)練處理得到每幅原始立體圖像的顯著性預(yù)測圖，計算每幅原始立體圖像的顯著性預(yù)測圖與真實場景標簽圖構(gòu)成的損失函數(shù)值，損失函數(shù)值采用采用二分類交叉熵損失函數(shù)獲得；