[發(fā)明專利]一種基于漸進(jìn)指導(dǎo)融合互補(bǔ)網(wǎng)絡(luò)的室內(nèi)場(chǎng)景圖像處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110557921.8
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113298814A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 周武杰;楊恩泉;葉寧;雷景生;萬(wàn)健;甘興利;錢小鴻;許彩娥;強(qiáng)芳芳
• 申請(qǐng)（專利權(quán)）人: 浙江科技學(xué)院
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06T9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種基于漸進(jìn)指導(dǎo)融合互補(bǔ)網(wǎng)絡(luò)的室內(nèi)場(chǎng)景圖像處理方法，其特征在于：包括訓(xùn)練階段和測(cè)試階段兩個(gè)過(guò)程；

所述的訓(xùn)練階段過(guò)程的具體步驟為：

步驟1_1：選取Q幅原始室內(nèi)場(chǎng)景圖像及每幅原始室內(nèi)場(chǎng)景圖像對(duì)應(yīng)的深度圖像和真實(shí)語(yǔ)義理解圖像，并構(gòu)成訓(xùn)練集；利用獨(dú)熱編碼方法將真實(shí)語(yǔ)義理解圖像轉(zhuǎn)換為若干幅獨(dú)熱編碼圖像；

步驟1_2：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)。

步驟1_3：將訓(xùn)練集中的每幅原始室內(nèi)場(chǎng)景圖像和對(duì)應(yīng)的深度圖像分別進(jìn)行數(shù)據(jù)增強(qiáng)，獲得數(shù)據(jù)增強(qiáng)后的原始室內(nèi)場(chǎng)景圖像和對(duì)應(yīng)的深度圖像并作為初始輸入圖像對(duì)，將初始輸入圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，得到訓(xùn)練集中的每幅原始室內(nèi)場(chǎng)景圖像對(duì)應(yīng)的若干副語(yǔ)義理解預(yù)測(cè)圖；

步驟1_4：計(jì)算若干幅語(yǔ)義理解預(yù)測(cè)圖構(gòu)成的集合與每幅原始室內(nèi)場(chǎng)景圖像對(duì)應(yīng)的若干幅語(yǔ)義理解預(yù)測(cè)圖構(gòu)成的集合之間損失函數(shù)值；

步驟1_5：重復(fù)執(zhí)行步驟1_3和步驟1_4共V次，其中，完成訓(xùn)練得到卷積神經(jīng)網(wǎng)絡(luò)分類訓(xùn)練模型，并總共得到Q×V個(gè)損失函數(shù)值；然后從Q×V個(gè)損失函數(shù)值中找出最小的損失函數(shù)值，將最小的損失函數(shù)值對(duì)應(yīng)的權(quán)值矢量和偏置項(xiàng)對(duì)應(yīng)作為卷積神經(jīng)網(wǎng)絡(luò)分類訓(xùn)練模型的最優(yōu)權(quán)值矢量和最優(yōu)偏置項(xiàng)；

所述的測(cè)試階段過(guò)程的具體步驟為：

步驟2_1：待語(yǔ)義理解的室內(nèi)場(chǎng)景圖像記為{I^(i,j)}，i、j分別表示坐標(biāo)位置為(i,j)的像素點(diǎn)的橫縱坐標(biāo)，{I^(i,j)}表示待語(yǔ)義理解的室內(nèi)場(chǎng)景圖像中坐標(biāo)位置為(i,j)的像素點(diǎn)的像素值；

步驟2_2：將待語(yǔ)義理解的室內(nèi)場(chǎng)景圖像和對(duì)應(yīng)的深度圖像輸入到設(shè)置有最優(yōu)權(quán)值矢量和最優(yōu)偏置項(xiàng)的卷積神經(jīng)網(wǎng)絡(luò)分類訓(xùn)練模型中，得到待語(yǔ)義理解的室內(nèi)場(chǎng)景圖像對(duì)應(yīng)的預(yù)測(cè)語(yǔ)義理解圖像，記為{I^_pre(i,j)}，其中，{I^_pre(i,j)}表示預(yù)測(cè)語(yǔ)義理解圖像中坐標(biāo)位置為(i,j)的像素點(diǎn)的像素值。

2.根據(jù)權(quán)利要求1所述的基于漸進(jìn)指導(dǎo)融合互補(bǔ)網(wǎng)絡(luò)的室內(nèi)場(chǎng)景圖像處理方法，其特征在于：所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)包括編碼階段和解碼階段，編碼階段和解碼階段依次銜接；

編碼階段包括RGB圖像、深度圖像、五個(gè)深度圖提升模塊、十個(gè)卷積塊和五個(gè)漸進(jìn)互補(bǔ)融合模塊；

RGB圖像依次經(jīng)第一卷積塊、第二卷積塊、第三卷積塊和第四卷積塊后與第五卷積塊相連；第一卷積塊的輸出分別輸入到第一漸進(jìn)互補(bǔ)融合模塊和第一深度圖提升模塊的第一輸入端，第二卷積塊的輸出分別輸入到第二漸進(jìn)互補(bǔ)融合模塊和第二深度圖提升模塊的第一輸入端，第三卷積塊的輸出分別輸入到第三漸進(jìn)互補(bǔ)融合模塊和第三深度圖提升模塊的第一輸入端，第四卷積塊的輸出分別輸入到第四漸進(jìn)互補(bǔ)融合模塊和第四深度圖提升模塊的第一輸入端，第五卷積塊的輸出分別輸入到第五漸進(jìn)互補(bǔ)融合模塊和第五深度圖提升模塊的第一輸入端；

深度圖像依次經(jīng)第六卷積塊、第七卷積塊、第八卷積塊和第九卷積塊后與第十卷積塊相連；第六卷積塊的輸出輸入到第一深度圖提升模塊的第二輸入端，第七卷積塊的輸出輸入到第二深度圖提升模塊的第二輸入端，第八卷積塊的輸出輸入到第三深度圖提升模塊的第二輸入端，第九卷積塊的輸出輸入到第四深度圖提升模塊的第二輸入端，第十卷積塊的輸出輸入到第五深度圖提升模塊的第二輸入端；

第一深度圖提升模塊的輸出輸入到第一漸進(jìn)互補(bǔ)融合模塊的第二輸入端，第一深度圖提升模塊的輸出輸入到第一漸進(jìn)互補(bǔ)融合模塊的第二輸入端，第二深度圖提升模塊的輸出輸入到第二漸進(jìn)互補(bǔ)融合模塊的第二輸入端，第三深度圖提升模塊的輸出輸入到第三漸進(jìn)互補(bǔ)融合模塊的第二輸入端，第四深度圖提升模塊的輸出輸入到第四漸進(jìn)互補(bǔ)融合模塊的第二輸入端，第五深度圖提升模塊的輸出輸入到第五漸進(jìn)互補(bǔ)融合模塊的第二輸入端；

第五漸進(jìn)互補(bǔ)融合模塊的輸出經(jīng)一次兩倍的上采樣操作后輸入到第四漸進(jìn)互補(bǔ)融合模塊的第三輸入端，第四漸進(jìn)互補(bǔ)融合模塊的輸出經(jīng)一次兩倍的上采樣操作后的輸出輸入到第三漸進(jìn)互補(bǔ)融合模塊的第三輸入端，第三漸進(jìn)互補(bǔ)融合模塊的輸出經(jīng)一次兩倍的上采樣操作后的輸出輸入到第二漸進(jìn)互補(bǔ)融合模塊的第三輸入端，第二漸進(jìn)互補(bǔ)融合模塊的輸出經(jīng)一次兩倍的上采樣操作后的輸出輸入到第一漸進(jìn)互補(bǔ)融合模塊的第三輸入端；

第一漸進(jìn)互補(bǔ)融合模塊的輸出、第二漸進(jìn)互補(bǔ)融合模塊的輸出、第三漸進(jìn)互補(bǔ)融合模塊的輸出、第四漸進(jìn)互補(bǔ)融合模塊的輸出和第五漸進(jìn)互補(bǔ)融合模塊的輸出分別輸入到解碼階段；

解碼階段包括四個(gè)多層次殘差模塊，第四多層次殘差模塊依次經(jīng)第三多層次殘差模塊和第二多層次殘差模塊后與第一多層次殘差模塊相連，第四多層次殘差模塊的輸出輸入到第三多層次殘差模塊的第一輸入端，第三多層次殘差模塊的輸出輸入到第二多層次殘差模塊的第一輸入端，第二多層次殘差模塊的輸出輸入到第一多層次殘差模塊的第一輸入端，第五漸進(jìn)互補(bǔ)融合模塊的輸出輸入到第三轉(zhuǎn)置卷積模塊，第三轉(zhuǎn)置卷積模塊的輸出經(jīng)一次兩倍的上采樣操作后輸入到第四多層次殘差模塊的第一輸入端，第四漸進(jìn)互補(bǔ)融合模塊的輸出輸入到第四多層次殘差模塊的第二輸入端，第三漸進(jìn)互補(bǔ)融合模塊的輸出輸入到第三多層次殘差模塊的第二輸入端，第二漸進(jìn)互補(bǔ)融合模塊的輸出輸入到第二多層次殘差模塊的第二輸入端，第一漸進(jìn)互補(bǔ)融合模塊的輸出輸入到第一多層次殘差模塊的第二輸入端，第一多層次殘差模塊的輸出作為神經(jīng)網(wǎng)絡(luò)的輸出，第三轉(zhuǎn)置卷積模塊包括第一轉(zhuǎn)置卷積層和第八歸一化層，轉(zhuǎn)置卷積模塊的輸入依次輸入到第一轉(zhuǎn)置卷積層和第八歸一化層，第八歸一化層的輸出作為卷積模塊的輸出。