[發(fā)明專(zhuān)利]基于交叉融合網(wǎng)絡(luò)的服裝語(yǔ)義分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110368207.4
• 申請(qǐng)日: 2021-04-06
• 公開(kāi)（公告）號(hào): CN113192073A
• 公開(kāi)（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 周武杰;徐高;葉綠;雷景生;萬(wàn)健;甘興利;錢(qián)小鴻;許彩娥;強(qiáng)芳芳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江科技學(xué)院
• 主分類(lèi)號(hào): G06T7/10
• 分類(lèi)號(hào): G06T7/10;G06T9/00;G06K9/62;G06N3/04;G06N3/08;G06T3/40;G06T5/50
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種基于交叉融合網(wǎng)絡(luò)的服裝語(yǔ)義分割方法，其特征在于：包括訓(xùn)練階段和測(cè)試階段兩個(gè)過(guò)程；

所述的訓(xùn)練階段過(guò)程的具體步驟為：

步驟1_1：選取Q幅原始服裝場(chǎng)景圖像及每幅原始服裝場(chǎng)景圖像對(duì)應(yīng)的深度圖像和真實(shí)語(yǔ)義分割圖像，并構(gòu)成訓(xùn)練集；

步驟1_2：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)；

步驟1_3：將訓(xùn)練集中每幅原始服裝場(chǎng)景圖像和對(duì)應(yīng)深度圖像分別進(jìn)行數(shù)據(jù)增強(qiáng)，獲得數(shù)據(jù)增強(qiáng)后的原始服裝場(chǎng)景圖像和對(duì)應(yīng)深度圖像并作為初始輸入圖像，將初始輸入圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到訓(xùn)練集中的每幅原始服裝場(chǎng)景圖像對(duì)應(yīng)的語(yǔ)義分割預(yù)測(cè)圖；

步驟1_4：計(jì)算語(yǔ)義分割預(yù)測(cè)圖與對(duì)應(yīng)的真實(shí)語(yǔ)義分割圖像之間的損失函數(shù)值；

步驟1_5：重復(fù)執(zhí)行步驟1_3和步驟1_4共V次，損失函數(shù)值降至最小，獲得卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)訓(xùn)練模型；

所述的測(cè)試階段過(guò)程的具體步驟為：

步驟2：將待語(yǔ)義分割的服裝場(chǎng)景圖像和對(duì)應(yīng)的深度圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)訓(xùn)練模型中，獲得對(duì)應(yīng)的預(yù)測(cè)語(yǔ)義分割圖像。

2.根據(jù)權(quán)利要求1所述的一種基于交叉融合網(wǎng)絡(luò)的服裝語(yǔ)義分割方法，其特征在于：所述卷積神經(jīng)網(wǎng)絡(luò)包括編碼階段和解碼階段；編碼階段和解碼階段相連；

編碼階段包括RGB圖像輸入層、深度圖像輸入層、10個(gè)卷積塊、5個(gè)交叉融合模塊和空洞空間卷積池化金字塔模塊，RGB圖像輸入層依次經(jīng)第一卷積塊、第二卷積塊、第三卷積塊、第四卷積塊和第五卷積塊后與第五交叉融合模塊相連，深度圖像輸入層依次經(jīng)第六卷積塊、第七卷積塊、第八卷積塊、第九卷積塊和第十卷積塊后與第五交叉融合模塊相連；

第一卷積塊的輸出分別輸入到第一交叉融合模塊和第二交叉融合模塊的第一輸入端，第二卷積塊的輸出分別輸入到第一交叉融合模塊和第二交叉融合模塊的第二輸入端，第六卷積塊的輸出分別輸入到第一交叉融合模塊和第二交叉融合模塊的第三輸入端，第七卷積塊的輸出分別輸入到第一交叉融合模塊和第二交叉融合模塊的第四輸入端，第三卷積塊的輸出分別輸入到第三交叉融合模塊和第四交叉融合模塊的第一輸入端，第四卷積塊的輸出分別輸入到第三交叉融合模塊和第四交叉融合模塊的第二輸入端，第八卷積塊的輸出分別輸入到第三交叉融合模塊和第四交叉融合模塊的第三輸入端，第九卷積塊的輸出分別輸入到第三交叉融合模塊和第四交叉融合模塊的第四輸入端，第五交叉融合模塊與空洞空間卷積池化金字塔模塊相連，第一交叉融合模塊和第二交叉融合模塊的輸出進(jìn)行連接操作后的輸出作為第一交叉融合輸出，第三交叉融合模塊和第四交叉融合模塊的輸出進(jìn)行連接操作后的輸出作為第二交叉融合輸出，空洞空間卷積池化金字塔模塊的輸出、第一交叉融合輸出和第二交叉融合輸出分別輸入到解碼階段；

所述解碼階段包括第一卷積解碼模塊、第二卷積解碼模塊和第三卷積解碼模塊；空洞空間卷積池化金字塔模塊的輸出輸入到第一卷積解碼模塊，第一卷積解碼模塊的輸出和第二交叉融合輸出進(jìn)行連接操作后的輸出輸入到第二卷積解碼模塊，第二卷積解碼模塊的輸出和第一交叉融合輸出進(jìn)行連接操作后的輸出輸入到第三卷積解碼模塊；

第十卷積塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第一輸出，第一卷積解碼模塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第二輸出，第二卷積解碼模塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第三輸出，第三卷積解碼模塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第四輸出。