[發(fā)明專利]圖像修復(fù)方法及相關(guān)產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202010479966.3
• 申請(qǐng)日: 2020-05-29
• 公開(kāi)（公告）號(hào): CN111539899A
• 公開(kāi)（公告）日: 2020-08-14
• 發(fā)明（設(shè)計(jì)）人: 陳巖;任思捷;程璇曄;王魯陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 深圳市商湯科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06T7/38;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);董文俊

1.一種圖像修復(fù)方法，其特征在于，所述方法包括：

獲取第一深度圖像和第二深度圖像；

將所述第一深度圖像和所述第二深度圖像進(jìn)行對(duì)齊處理，得到對(duì)齊后的第一深度圖像和對(duì)齊后的第二深度圖像；

將所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像進(jìn)行融合處理，得到融合后的第三深度圖像，其中，所述第三深度圖像的信噪比大于所述第一深度圖像的信噪比，所述第三深度圖像的信噪比大于所述第二深度圖像的信噪比。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將所述第一深度圖像和第二深度圖像進(jìn)行對(duì)齊處理之前，所述方法還包括：

獲取所述第一深度圖像對(duì)應(yīng)的第一置信圖像、所述第二深度圖像對(duì)應(yīng)的第一置信圖像，其中，所述第一置信圖像指示所述第一深度圖像的置信度，所述第二置信圖像指示所述第二深度圖像的置信度；

所述將所述第一深度圖像和第二深度圖像進(jìn)行對(duì)齊處理，得到對(duì)齊后的第一深度圖像和對(duì)齊后的第二深度圖像，包括：

根據(jù)所述第一置信圖像和所述第二置信圖像，將所述第一深度圖像和所述第二深度圖像進(jìn)行對(duì)齊處理，從而得到所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一置信圖像和所述第二置信圖像，將所述第一深度圖像和所述第二深度圖像進(jìn)行對(duì)齊處理，從而得到所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像，包括：

根據(jù)所述第一置信圖像和所述第二置信圖像，確定對(duì)齊卷積核的位移參數(shù)；

利用所述對(duì)齊卷積核對(duì)所述第一深度圖像和所述第二深度圖像分別進(jìn)行卷積處理，得到所述對(duì)齊后的第一深度圖像、所述對(duì)齊后的第二深度圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在將所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像進(jìn)行融合處理之前，所述方法還包括：

利用所述對(duì)齊卷積核對(duì)所述第一置信圖像和所述第二置信圖像分別進(jìn)行卷積處理，得到對(duì)齊后的第一置信圖像和對(duì)齊后的第二置信圖像；

所述將所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像進(jìn)行融合處理，得到融合后的第三深度圖像，包括：

根據(jù)所述對(duì)齊后的第一置信圖像和所述對(duì)齊后的第二置信圖像，將所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像進(jìn)行融合處理，得到所述第三深度圖像。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述對(duì)齊后的第一置信圖像和所述對(duì)齊后的第二置信圖像，將所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像進(jìn)行融合處理，得到所述第三深度圖像，包括：

根據(jù)所述對(duì)齊后的第一深度圖像、所述對(duì)齊后的第二深度圖像、所述對(duì)齊后的第一置信圖像以及所述對(duì)齊后的第二置信圖像進(jìn)行卷積處理，得到注意力矩陣；

將所述對(duì)齊后的第一深度圖像、所述對(duì)齊后的第二深度圖像、所述對(duì)齊后的第一置信圖像以及所述對(duì)齊后的第二置信圖像分別與所述注意力矩陣相乘，得到第一注意力圖像、第二注意力圖像、第三注意力圖像以及第四注意力圖像；

利用反卷積核對(duì)所述第一注意力圖像、所述第二注意力圖像、所述第三注意力圖像以及所述第四注意力圖像進(jìn)行反卷積處理，得到所述第三深度圖像。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，基于卷積神經(jīng)網(wǎng)絡(luò)將所述第一深度圖像和所述第二深度圖像進(jìn)行對(duì)齊處理，以及將所述對(duì)齊后的第一深度圖像和所述對(duì)齊后的第二深度圖像進(jìn)行融合處理。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

獲取訓(xùn)練樣本，其中，所述訓(xùn)練樣本包括第一深度圖像樣本和所述第一深度圖像樣本對(duì)應(yīng)的置信圖像樣本；

將所述訓(xùn)練樣本輸入所述卷積神經(jīng)網(wǎng)絡(luò)，得到修復(fù)后的深度圖像；

獲取所述訓(xùn)練樣本對(duì)應(yīng)的第二深度圖像樣本，其中，所述第二深度圖像樣本的信噪比大于所述第一深度圖像樣本的信噪比；

根據(jù)所述修復(fù)后的深度圖像和所述第二深度圖像樣本，確定所述卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述訓(xùn)練樣本進(jìn)行圖像修復(fù)時(shí)的修復(fù)誤差；

根據(jù)所述修復(fù)誤差，調(diào)整所述卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。