[發(fā)明專利]全景圖像的目標(biāo)對象去除方法、裝置、服務(wù)器及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110783586.3
• 申請日: 2021-07-12
• 公開（公告）號: CN113284074B
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 崔巖;揭英達(dá)
• 申請（專利權(quán)）人: 中德（珠海）人工智能研究院有限公司;珠海市四維時(shí)代網(wǎng)絡(luò)科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T11/40;G06K9/32;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種全景圖像的目標(biāo)對象去除方法，其特征在于，包括：獲取待處理全景圖像；確定出所述待處理全景圖像中目標(biāo)對象所對應(yīng)的目標(biāo)區(qū)域圖像；其中，目標(biāo)對象是指三腳架，待處理全景圖像中目標(biāo)對象所對應(yīng)的目標(biāo)區(qū)域圖像是指待處理全景圖像中的表征三腳架所對應(yīng)的區(qū)域圖像；去除所述待處理全景圖像中的目標(biāo)區(qū)域圖像，得到全景圖像；確定出所述待處理全景圖像中目標(biāo)對象所對應(yīng)的目標(biāo)區(qū)域圖像，包括：提取所述待處理全景圖像中的目標(biāo)平面圖像；將所述目標(biāo)平面圖像輸入至預(yù)先訓(xùn)練的分割網(wǎng)絡(luò)中，得到目標(biāo)區(qū)域圖像；所述預(yù)先訓(xùn)練的分割網(wǎng)絡(luò)包括縮小路徑網(wǎng)絡(luò)模塊、擴(kuò)展路徑網(wǎng)絡(luò)模塊以及轉(zhuǎn)換層網(wǎng)絡(luò)模塊；將所述目標(biāo)平面圖像輸入至預(yù)先訓(xùn)練的分割網(wǎng)絡(luò)中，得到目標(biāo)區(qū)域圖像，包括：根據(jù)所述縮小路徑網(wǎng)絡(luò)模塊確定出所述目標(biāo)平面圖像的全局信息以及局部信息；基于所述目標(biāo)平面圖像的全局信息以及局部信息，根據(jù)所述擴(kuò)展路徑網(wǎng)絡(luò)模塊，對所述目標(biāo)平面圖像的像素點(diǎn)類別進(jìn)行預(yù)測，得到像素點(diǎn)類別預(yù)測結(jié)果；基于所述目標(biāo)平面圖像的像素點(diǎn)類別預(yù)測結(jié)果，根據(jù)所述轉(zhuǎn)換層網(wǎng)絡(luò)模塊對所述目標(biāo)平面圖像進(jìn)行劃分，得到目標(biāo)對象對應(yīng)的掩碼圖像，將所述掩碼圖像作為所述目標(biāo)區(qū)域圖像；去除所述待處理全景圖像中的目標(biāo)區(qū)域圖像，得到全景圖像，包括：將所述目標(biāo)區(qū)域圖像添加至所述目標(biāo)平面圖像，得到模糊平面圖像；將所述模糊平面圖像以及所述目標(biāo)區(qū)域圖像輸入至預(yù)先訓(xùn)練的圖像修復(fù)神經(jīng)網(wǎng)絡(luò)，得到清晰平面圖像；將所述清晰平面圖像映射至所述待處理全景圖像，根據(jù)所述清晰平面圖像對所述待處理全景圖像中所述目標(biāo)區(qū)域圖像的像素點(diǎn)進(jìn)行采樣填充，得到全景圖像；預(yù)先訓(xùn)練的圖像修復(fù)神經(jīng)網(wǎng)絡(luò)包括粗糙網(wǎng)絡(luò)模塊和加強(qiáng)網(wǎng)絡(luò)模塊；將所述模糊平面圖像以及所述目標(biāo)區(qū)域圖像輸入至預(yù)先訓(xùn)練的圖像修復(fù)神經(jīng)網(wǎng)絡(luò)，得到清晰平面圖像，包括：根據(jù)所述粗糙網(wǎng)絡(luò)模塊推斷所述模糊平面圖像中存在缺失的部分，生成補(bǔ)全平面圖像；其中，補(bǔ)全平面圖像包括已知區(qū)域以及未知區(qū)域；基于所述目標(biāo)區(qū)域圖像，根據(jù)所述加強(qiáng)網(wǎng)絡(luò)模塊對所述補(bǔ)全平面圖像中的未知區(qū)域進(jìn)行加強(qiáng)，得到清晰平面圖像；所述加強(qiáng)網(wǎng)絡(luò)模塊包括注意力模塊以及提取模塊，其中，注意力模塊利用補(bǔ)全平面圖像的已知區(qū)域?qū)ρa(bǔ)全平面圖像中的未知區(qū)域進(jìn)行卷積計(jì)算，提取模塊對提取出經(jīng)過卷積計(jì)算后的補(bǔ)全平面圖像作為清晰平面圖像。

2.如權(quán)利要求1所述的全景圖像的目標(biāo)對象去除方法，其特征在于，將所述模糊平面圖像以及所述目標(biāo)區(qū)域圖像輸入至預(yù)先訓(xùn)練的圖像修復(fù)神經(jīng)網(wǎng)絡(luò)，得到清晰平面圖像之后，還包括：

截取所述清晰平面圖像的中心圖像；

將所述中心圖像輸入至預(yù)先訓(xùn)練的強(qiáng)化神經(jīng)網(wǎng)絡(luò)，得到高清晰度中心圖像；

對所述清晰平面圖像進(jìn)行第一預(yù)設(shè)插值處理，將所述高清晰度中心圖像添加至第一預(yù)設(shè)插值處理后的清晰平面圖像，得到第一預(yù)設(shè)像素?cái)?shù)量的清晰平面圖像；

對所述目標(biāo)區(qū)域圖像進(jìn)行第二預(yù)設(shè)插值處理，得到第二預(yù)設(shè)像素?cái)?shù)量的目標(biāo)區(qū)域圖像；

將所述第一預(yù)設(shè)像素?cái)?shù)量的清晰平面圖像映射至所述待處理全景圖像，根據(jù)所述第一預(yù)設(shè)像素?cái)?shù)量的清晰平面圖像對所述待處理全景圖像中所述第二預(yù)設(shè)像素?cái)?shù)量的目標(biāo)區(qū)域圖像的像素點(diǎn)進(jìn)行采樣填充，得到全景圖像。

3.如權(quán)利要求2所述的全景圖像的目標(biāo)對象去除方法，其特征在于，所述預(yù)先訓(xùn)練的強(qiáng)化神經(jīng)網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)模塊和判別網(wǎng)絡(luò)模塊；

將所述中心圖像輸入至預(yù)先訓(xùn)練的強(qiáng)化神經(jīng)網(wǎng)絡(luò)，得到高清晰度中心圖像，包括：

將噪聲圖像輸入至所述生成網(wǎng)絡(luò)模塊，生成仿真圖像；

將所述中心圖像和仿真圖像輸入至所述判別網(wǎng)絡(luò)模塊，得到高清晰度中心圖像。