[發(fā)明專(zhuān)利]一種基于殘差網(wǎng)絡(luò)和深度信息融合的顯著性檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910444775.0
• 申請(qǐng)日: 2019-05-27
• 公開(kāi)（公告）號(hào): CN110263813B
• 公開(kāi)（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 周武杰;吳君委;雷景生;何成;錢(qián)亞冠;王海江;張偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江科技學(xué)院
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 寧波奧圣專(zhuān)利代理事務(wù)所(普通合伙) 33226
• 代理人: 周玨

1.一種基于殘差網(wǎng)絡(luò)和深度信息融合的顯著性檢測(cè)方法，其特征在于包括訓(xùn)練階段和測(cè)試階段兩個(gè)過(guò)程；

所述的訓(xùn)練階段過(guò)程的具體步驟為：

步驟1_1：選取Q幅原始的彩色真實(shí)物體圖像及每幅原始的彩色真實(shí)物體圖像對(duì)應(yīng)的深度圖像和真實(shí)顯著性檢測(cè)標(biāo)簽圖像，并構(gòu)成訓(xùn)練集，將訓(xùn)練集中的第q幅原始的彩色真實(shí)物體圖像及其對(duì)應(yīng)的深度圖像和真實(shí)顯著性檢測(cè)標(biāo)簽圖像對(duì)應(yīng)記為{I^q(i,j)}、{D^q(i,j)}、其中，Q為正整數(shù)，Q≥200，q為正整數(shù)，q的初始值為1，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}、{D^q(i,j)}、的寬度，H表示{I^q(i,j)}、{D^q(i,j)}、的高度，W和H均能夠被2整除，{I^q(i,j)}為RGB彩色圖像，I^q(i,j)表示{I^q(i,j)}中坐標(biāo)位置為(i,j)的像素點(diǎn)的像素值，{D^q(i,j)}為單通道的深度圖像，D^q(i,j)表示{D^q(i,j)}中坐標(biāo)位置為(i,j)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(i,j)的像素點(diǎn)的像素值；

步驟1_2：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)：該卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、隱層、輸出層，輸入層包括RGB圖輸入層和深度圖輸入層，隱層包括5個(gè)RGB圖神經(jīng)網(wǎng)絡(luò)塊、4個(gè)RGB圖最大池化層、5個(gè)深度圖神經(jīng)網(wǎng)絡(luò)塊、4個(gè)深度圖最大池化層、5個(gè)級(jí)聯(lián)層、5個(gè)融合神經(jīng)網(wǎng)絡(luò)塊、4個(gè)反卷積層，輸出層包括5個(gè)子輸出層；其中，5個(gè)RGB圖神經(jīng)網(wǎng)絡(luò)塊和4個(gè)RGB圖最大池化層構(gòu)成RGB圖的編碼結(jié)構(gòu)，5個(gè)深度圖神經(jīng)網(wǎng)絡(luò)塊和4個(gè)深度圖最大池化層構(gòu)成深度圖的編碼結(jié)構(gòu)，RGB圖的編碼結(jié)構(gòu)和深度圖的編碼結(jié)構(gòu)構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)的編碼層，5個(gè)級(jí)聯(lián)層、5個(gè)融合神經(jīng)網(wǎng)絡(luò)塊和4個(gè)反卷積層構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)的譯碼層；

對(duì)于RGB圖輸入層，其輸入端接收一幅訓(xùn)練用RGB彩色圖像的R通道分量、G通道分量和B通道分量，其輸出端輸出訓(xùn)練用RGB彩色圖像的R通道分量、G通道分量和B通道分量給隱層；其中，要求訓(xùn)練用RGB彩色圖像的寬度為W且高度為H；

對(duì)于深度圖輸入層，其輸入端接收RGB圖輸入層的輸入端接收的訓(xùn)練用RGB彩色圖像對(duì)應(yīng)的訓(xùn)練用深度圖像，其輸出端輸出訓(xùn)練用深度圖像給隱層；其中，訓(xùn)練用深度圖像的寬度為W且高度為H；

對(duì)于第1個(gè)RGB圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收RGB圖輸入層的輸出端輸出的訓(xùn)練用RGB彩色圖像的R通道分量、G通道分量和B通道分量，其輸出端輸出32幅寬度為W且高度為H的特征圖，將輸出的所有特征圖構(gòu)成的集合記為CP₁；

對(duì)于第1個(gè)RGB圖最大池化層，其輸入端接收CP₁中的所有特征圖，其輸出端輸出32幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為ZC₁；

對(duì)于第2個(gè)RGB圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Z(yǔ)C₁中的所有特征圖，其輸出端輸出64幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為CP₂；

對(duì)于第2個(gè)RGB圖最大池化層，其輸入端接收CP₂中的所有特征圖，其輸出端輸出64幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為ZC₂；

對(duì)于第3個(gè)RGB圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Z(yǔ)C₂中的所有特征圖，其輸出端輸出128幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為CP₃；

對(duì)于第3個(gè)RGB圖最大池化層，其輸入端接收CP₃中的所有特征圖，其輸出端輸出128幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為ZC₃；

對(duì)于第4個(gè)RGB圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Z(yǔ)C₃中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為CP₄；

對(duì)于第4個(gè)RGB圖最大池化層，其輸入端接收CP₄中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為ZC₄；

對(duì)于第5個(gè)RGB圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Z(yǔ)C₄中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為CP₅；

對(duì)于第1個(gè)深度圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收深度圖輸入層的輸出端輸出的訓(xùn)練用深度圖像，其輸出端輸出32幅寬度為W且高度為H的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DP₁；

對(duì)于第1個(gè)深度圖最大池化層，其輸入端接收DP₁中的所有特征圖，其輸出端輸出32幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DC₁；

對(duì)于第2個(gè)深度圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收DC₁中的所有特征圖，其輸出端輸出64幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DP₂；

對(duì)于第2個(gè)深度圖最大池化層，其輸入端接收DP₂中的所有特征圖，其輸出端輸出64幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DC₂；

對(duì)于第3個(gè)深度圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收DC₂中的所有特征圖，其輸出端輸出128幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DP₃；

對(duì)于第3個(gè)深度圖最大池化層，其輸入端接收DP₃中的所有特征圖，其輸出端輸出128幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DC₃；

對(duì)于第4個(gè)深度圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收DC₃中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DP₄；

對(duì)于第4個(gè)深度圖最大池化層，其輸入端接收DP₄中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DC₄；

對(duì)于第5個(gè)深度圖神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收DC₄中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為DP₅；

對(duì)于第1個(gè)級(jí)聯(lián)層，其輸入端接收CP₅中的所有特征圖和DP₅中的所有特征圖，對(duì)CP₅中的所有特征圖和DP₅中的所有特征圖進(jìn)行疊加，其輸出端輸出512幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Con₁；

對(duì)于第1個(gè)融合神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Con₁中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為RH₁；

對(duì)于第1個(gè)反卷積層，其輸入端接收RH₁中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為FJ₁；

對(duì)于第2個(gè)級(jí)聯(lián)層，其輸入端接收FJ₁中的所有特征圖、CP₄中的所有特征圖和DP₄中的所有特征圖，對(duì)FJ₁中的所有特征圖、CP₄中的所有特征圖和DP₄中的所有特征圖進(jìn)行疊加，其輸出端輸出768幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Con₂；

對(duì)于第2個(gè)融合神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Con₂中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為RH₂；

對(duì)于第2個(gè)反卷積層，其輸入端接收RH₂中的所有特征圖，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為FJ₂；

對(duì)于第3個(gè)級(jí)聯(lián)層，其輸入端接收FJ₂中的所有特征圖、CP₃中的所有特征圖和DP₃中的所有特征圖，對(duì)FJ₂中的所有特征圖、CP₃中的所有特征圖和DP₃中的所有特征圖進(jìn)行疊加，其輸出端輸出512幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Con₃；

對(duì)于第3個(gè)融合神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Con₃中的所有特征圖，其輸出端輸出128幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為RH₃；

對(duì)于第3個(gè)反卷積層，其輸入端接收RH₃中的所有特征圖，其輸出端輸出128幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為FJ₃；

對(duì)于第4個(gè)級(jí)聯(lián)層，其輸入端接收FJ₃中的所有特征圖、CP₂中的所有特征圖和DP₂中的所有特征圖，對(duì)FJ₃中的所有特征圖、CP₂中的所有特征圖和DP₂中的所有特征圖進(jìn)行疊加，其輸出端輸出256幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Con₄；

對(duì)于第4個(gè)融合神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Con₄中的所有特征圖，其輸出端輸出64幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為RH₄；

對(duì)于第4個(gè)反卷積層，其輸入端接收RH₄中的所有特征圖，其輸出端輸出64幅寬度為W且高度為H的特征圖，將輸出的所有特征圖構(gòu)成的集合記為FJ₄；

對(duì)于第5個(gè)級(jí)聯(lián)層，其輸入端接收FJ₄中的所有特征圖、CP₁中的所有特征圖和DP₁中的所有特征圖，對(duì)FJ₄中的所有特征圖、CP₁中的所有特征圖和DP₁中的所有特征圖進(jìn)行疊加，其輸出端輸出128幅寬度為W且高度為H的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Con₅；

對(duì)于第5個(gè)融合神經(jīng)網(wǎng)絡(luò)塊，其輸入端接收Con₅中的所有特征圖，其輸出端輸出32幅寬度為W且高度為H的特征圖，將輸出的所有特征圖構(gòu)成的集合記為RH₅；

對(duì)于第1個(gè)子輸出層，其輸入端接收RH₁中的所有特征圖，其輸出端輸出2幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Out₁，Out₁中的其中一幅特征圖為顯著性檢測(cè)預(yù)測(cè)圖；

對(duì)于第2個(gè)子輸出層，其輸入端接收RH₂中的所有特征圖，其輸出端輸出2幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Out₂，Out₂中的其中一幅特征圖為顯著性檢測(cè)預(yù)測(cè)圖；

對(duì)于第3個(gè)子輸出層，其輸入端接收RH₃中的所有特征圖，其輸出端輸出2幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Out₃，Out₃中的其中一幅特征圖為顯著性檢測(cè)預(yù)測(cè)圖；

對(duì)于第4個(gè)子輸出層，其輸入端接收RH₄中的所有特征圖，其輸出端輸出2幅寬度為且高度為的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Out₄，Out₄中的其中一幅特征圖為顯著性檢測(cè)預(yù)測(cè)圖；

對(duì)于第5個(gè)子輸出層，其輸入端接收RH₅中的所有特征圖，其輸出端輸出2幅寬度為W且高度為H的特征圖，將輸出的所有特征圖構(gòu)成的集合記為Out₅，Out₅中的其中一幅特征圖為顯著性檢測(cè)預(yù)測(cè)圖；

步驟1_3：將訓(xùn)練集中的每幅原始的彩色真實(shí)物體圖像作為訓(xùn)練用RGB彩色圖像，將訓(xùn)練集中的每幅原始的彩色真實(shí)物體圖像對(duì)應(yīng)的深度圖像作為訓(xùn)練用深度圖像，輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到訓(xùn)練集中的每幅原始的彩色真實(shí)物體圖像對(duì)應(yīng)的5幅顯著性檢測(cè)預(yù)測(cè)圖，將{I^q(i,j)}對(duì)應(yīng)的5幅顯著性檢測(cè)預(yù)測(cè)圖構(gòu)成的集合記為

步驟1_4：對(duì)訓(xùn)練集中的每幅原始的彩色真實(shí)物體圖像對(duì)應(yīng)的真實(shí)顯著性檢測(cè)標(biāo)簽圖像進(jìn)行4種不同尺寸大小的縮放處理，得到寬度為且高度為的圖像、寬度為且高度為的圖像、寬度為且高度為的圖像、寬度為且高度為的圖像，將{I^q(i,j)}對(duì)應(yīng)的真實(shí)顯著性檢測(cè)標(biāo)簽圖像經(jīng)縮放處理后得到的4幅圖像和該真實(shí)顯著性檢測(cè)標(biāo)簽圖像構(gòu)成的集合記為

步驟1_5：計(jì)算訓(xùn)練集中的每幅原始的彩色真實(shí)物體圖像對(duì)應(yīng)的5幅顯著性檢測(cè)預(yù)測(cè)圖構(gòu)成的集合與該原始的彩色真實(shí)物體圖像對(duì)應(yīng)的真實(shí)顯著性檢測(cè)標(biāo)簽圖像經(jīng)縮放處理后得到的4幅圖像和該真實(shí)顯著性檢測(cè)標(biāo)簽圖像構(gòu)成的集合之間的損失函數(shù)值，將與之間的損失函數(shù)值記為采用分類(lèi)交叉熵獲得；

步驟1_6：重復(fù)執(zhí)行步驟1_3至步驟1_5共V次，得到卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，并共得到Q×V個(gè)損失函數(shù)值；然后從Q×V個(gè)損失函數(shù)值中找出值最小的損失函數(shù)值；接著將值最小的損失函數(shù)值對(duì)應(yīng)的權(quán)值矢量和偏置項(xiàng)對(duì)應(yīng)作為卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的最優(yōu)權(quán)值矢量和最優(yōu)偏置項(xiàng)，對(duì)應(yīng)記為W^best和b^best；其中，V＞1；

所述的測(cè)試階段過(guò)程的具體步驟為：

步驟2_1：令表示待顯著性檢測(cè)的彩色真實(shí)物體圖像，將對(duì)應(yīng)的深度圖像記為其中，1≤i'≤W'，1≤j'≤H'，W'表示和的寬度，H'表示和的高度，表示中坐標(biāo)位置為(i',j')的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(i',j')的像素點(diǎn)的像素值；

步驟2_2：將的R通道分量、G通道分量和B通道分量以及輸入到卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型中，并利用W^best和b^best進(jìn)行預(yù)測(cè)，得到對(duì)應(yīng)的5幅不同尺寸大小的預(yù)測(cè)顯著性檢測(cè)圖像，將尺寸大小與的尺寸大小一致的預(yù)測(cè)顯著性檢測(cè)圖像作為對(duì)應(yīng)的最終預(yù)測(cè)顯著性檢測(cè)圖像，并記為其中，表示中坐標(biāo)位置為(i',j')的像素點(diǎn)的像素值。