[發(fā)明專利]基于深度殘差網(wǎng)絡(luò)的去網(wǎng)格方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201711458971.0
• 申請日: 2017-12-28
• 公開（公告）號: CN108230269B
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計）人: 楊東;王棟
• 申請（專利權(quán)）人: 智慧眼科技股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/00
• 代理公司: 長沙智嶸專利代理事務(wù)所(普通合伙) 43211
• 代理人: 劉宏

1.一種基于深度殘差網(wǎng)絡(luò)的去網(wǎng)格方法，其特征在于，所述去網(wǎng)格方法采用基于深度殘差的全卷積網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，所述去網(wǎng)格方法包括：

采用訓(xùn)練圖像集訓(xùn)練所述基礎(chǔ)網(wǎng)絡(luò)，得到訓(xùn)練好的基礎(chǔ)網(wǎng)絡(luò)；

利用所述訓(xùn)練好的基礎(chǔ)網(wǎng)絡(luò)對待去除網(wǎng)格的圖像進(jìn)行去網(wǎng)格處理，得到去網(wǎng)格的圖像；

所述基礎(chǔ)網(wǎng)絡(luò)為在全卷積網(wǎng)絡(luò)的基礎(chǔ)上添加擴(kuò)展卷積的元網(wǎng)絡(luò)，所述基礎(chǔ)網(wǎng)絡(luò)包括一系列的元網(wǎng)絡(luò)，每相鄰兩個元網(wǎng)絡(luò)之間經(jīng)殘差做一次直連；

所述元網(wǎng)絡(luò)包括第一網(wǎng)絡(luò)架構(gòu)、第二網(wǎng)絡(luò)架構(gòu)，任一所述元網(wǎng)絡(luò)為前述兩種網(wǎng)絡(luò)架構(gòu)之一，所述第一網(wǎng)絡(luò)架構(gòu)包括依次連接的第一卷積層、第一relu非線性層、第二卷積層、第二relu非線性層，所述第一卷積層為I＝2的2-dilated 3x3卷積，所述第二卷積層為3x3卷積層；

所述第二網(wǎng)絡(luò)架構(gòu)包括依次連接的混合卷積層、用于將所述混合卷積層的輸出關(guān)聯(lián)的concate層及第三relu非線性層，其中，所述混合卷積層由第三卷積層和第四卷積層按一定的比例組成，所述第三卷積層為I＝2的2-dilated 3x3卷積，所述第四卷積層為3x3卷積層，所述第三卷積層與所述第四卷積層的比例為dilate_ratio，dilate_ratio的取值范圍為[0,0.5]；

所述元網(wǎng)絡(luò)在淺層使用第一網(wǎng)絡(luò)架構(gòu)，在深層的網(wǎng)絡(luò)使用第二網(wǎng)絡(luò)架構(gòu)，且越深層使用的dilate conv3x3比例越小；

在輸入待去除網(wǎng)格的圖像之前，所述去網(wǎng)格方法還包括：

對待去除網(wǎng)格的圖像進(jìn)行預(yù)處理，使得預(yù)處理后的圖像尺寸符合預(yù)設(shè)尺寸要求，基礎(chǔ)網(wǎng)絡(luò)的輸入圖像大小為224x224，采用補(bǔ)黑邊的方式將圖像大小擴(kuò)張到224x224，預(yù)處理后的圖像中對應(yīng)人臉位置標(biāo)記為MASK矩陣；

所述采用訓(xùn)練圖像集訓(xùn)練所述基礎(chǔ)網(wǎng)絡(luò)，得到訓(xùn)練好的基礎(chǔ)網(wǎng)絡(luò)的步驟中引入懲罰函數(shù)，所述懲罰函數(shù)為網(wǎng)絡(luò)重構(gòu)得到的預(yù)設(shè)尺寸的網(wǎng)格圖像與對應(yīng)的符合所述預(yù)設(shè)尺寸要求的原始圖像上每個像素相減得到的歐拉距離乘上所述原始圖像上人臉區(qū)域?qū)?yīng)的MASK矩陣。

2.一種基于深度殘差網(wǎng)絡(luò)的去網(wǎng)格裝置，用于執(zhí)行如權(quán)利要求1所述的去網(wǎng)格方法，其特征在于，包括：

基礎(chǔ)網(wǎng)絡(luò)單元，所述基礎(chǔ)網(wǎng)絡(luò)單元采用基于深度殘差的全卷積網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)；

訓(xùn)練單元，用于采用訓(xùn)練圖像集訓(xùn)練所述基礎(chǔ)網(wǎng)絡(luò)，得到訓(xùn)練好的基礎(chǔ)網(wǎng)絡(luò)；

去網(wǎng)格單元，用于利用所述訓(xùn)練好的基礎(chǔ)網(wǎng)絡(luò)對待去除網(wǎng)格的圖像進(jìn)行去網(wǎng)格處理，得到去網(wǎng)格的圖像；

所述基礎(chǔ)網(wǎng)絡(luò)為在全卷積網(wǎng)絡(luò)的基礎(chǔ)上添加擴(kuò)展卷積的元網(wǎng)絡(luò)，所述基礎(chǔ)網(wǎng)絡(luò)包括一系列的元網(wǎng)絡(luò)，每相鄰兩個元網(wǎng)絡(luò)之間經(jīng)殘差做一次直連；

所述元網(wǎng)絡(luò)包括第一網(wǎng)絡(luò)架構(gòu)、第二網(wǎng)絡(luò)架構(gòu)，任一所述元網(wǎng)絡(luò)為前述兩種網(wǎng)絡(luò)架構(gòu)之一，所述第一網(wǎng)絡(luò)架構(gòu)包括依次連接的第一卷積層、第一relu非線性層、第二卷積層、第二relu非線性層，所述第一卷積層為I＝2的2-dilated 3x3卷積，所述第二卷積層為3x3卷積層；

所述第二網(wǎng)絡(luò)架構(gòu)包括依次連接的混合卷積層、用于將所述混合卷積層的輸出關(guān)聯(lián)的concate層及第三relu非線性層，其中，所述混合卷積層由第三卷積層和第四卷積層按一定的比例組成，所述第三卷積層為I＝2的2-dilated 3x3卷積，所述第四卷積層為3x3卷積層，所述第三卷積層與所述第四卷積層的比例為dilate_ratio，dilate_ratio的取值范圍為[0,0.5]；

所述元網(wǎng)絡(luò)在淺層使用第一網(wǎng)絡(luò)架構(gòu)，在深層的網(wǎng)絡(luò)使用第二網(wǎng)絡(luò)架構(gòu)，且越深層使用的dilate conv3x3比例越小；

在輸入待去除網(wǎng)格的圖像之前，還需對待去除網(wǎng)格的圖像進(jìn)行預(yù)處理，使得預(yù)處理后的圖像尺寸符合預(yù)設(shè)尺寸要求，基礎(chǔ)網(wǎng)絡(luò)的輸入圖像大小為224x224，采用補(bǔ)黑邊的方式將圖像大小擴(kuò)張到224x224，預(yù)處理后的圖像中對應(yīng)人臉位置標(biāo)記為MASK矩陣；

所述訓(xùn)練單元引入懲罰函數(shù)，所述懲罰函數(shù)為網(wǎng)絡(luò)重構(gòu)得到的預(yù)設(shè)尺寸的網(wǎng)格圖像與對應(yīng)的符合所述預(yù)設(shè)尺寸要求的原始圖像上每個像素相減得到的歐拉距離乘上所述原始圖像上人臉區(qū)域?qū)?yīng)的MASK矩陣。

3.一種基于深度殘差網(wǎng)絡(luò)的去網(wǎng)格設(shè)備，包括處理器，所述處理器用于運行程序，其特征在于，所述程序運行時執(zhí)行如權(quán)利要求1所述的基于深度殘差網(wǎng)絡(luò)的去網(wǎng)格方法。

4.一種存儲介質(zhì)，所述存儲介質(zhì)包括存儲的程序，其特征在于，所述程序運行時控制所述存儲介質(zhì)所在的設(shè)備執(zhí)行如權(quán)利要求1所述的基于深度殘差網(wǎng)絡(luò)的去網(wǎng)格方法。