[發(fā)明專利]圖像填充方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010612374.4
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111768468B
• 公開(kāi)（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 李超
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06T11/40
• 分類號(hào): G06T11/40;G06T7/12;G06N3/0464;G06N3/044;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 單冠飛

1.一種圖像填充方法，包括：

由輪廓檢測(cè)模塊對(duì)待填充圖像中的實(shí)例進(jìn)行輪廓檢測(cè)，獲得所述待填充圖像中的實(shí)例的輪廓邊緣圖，所述輪廓邊緣圖中包括至少一個(gè)缺失區(qū)域，其中，所述輪廓檢測(cè)模塊是利用第一類訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練而生成的，所述第一類訓(xùn)練數(shù)據(jù)包括：待填充圖像和對(duì)應(yīng)的輪廓邊緣圖；

基于第一掩模，由輪廓補(bǔ)全模塊對(duì)所述輪廓邊緣圖進(jìn)行輪廓補(bǔ)全處理，得到補(bǔ)全后的輪廓邊緣圖，其中所述第一掩模的感興趣區(qū)域?qū)?yīng)于所述至少一個(gè)缺失區(qū)域，其中，所述輪廓補(bǔ)全模塊是利用第二類訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練而生成的，所述第二類訓(xùn)練數(shù)據(jù)包括：有缺失的輪廓邊緣圖和對(duì)應(yīng)的補(bǔ)全后的輪廓邊緣圖；

基于所述補(bǔ)全后的輪廓邊緣圖，由圖像填充模塊對(duì)所述待填充圖像進(jìn)行填充處理，得到填充后的圖像，其中，所述圖像填充模塊是利用第三類訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練而生成的，所述第三類訓(xùn)練數(shù)據(jù)包括：待填充圖像與補(bǔ)全后的輪廓邊緣圖的拼接矩陣和對(duì)應(yīng)的填充后的圖像。

2.根據(jù)權(quán)利要求1所述的方法，其中，

所述補(bǔ)全后的輪廓邊緣圖與所述待填充圖像各自對(duì)應(yīng)矩陣的長(zhǎng)寬維度相同，且圖像通道數(shù)不同；

在所述基于所述補(bǔ)全后的輪廓邊緣圖，對(duì)所述待填充圖像進(jìn)行填充處理之前，所述方法還包括：

對(duì)所述補(bǔ)全后的輪廓邊緣圖的矩陣與所述待填充圖像的矩陣在通道維度上進(jìn)行拼接，以拼接后的矩陣作為所述填充處理的對(duì)象。

3.根據(jù)權(quán)利要求1所述的方法，在對(duì)待填充圖像進(jìn)行輪廓檢測(cè)之前，所述方法還包括：

將目標(biāo)圖像中的目標(biāo)區(qū)域去除，得到待填充圖像，所述待填充圖像中缺失的區(qū)域?yàn)榇畛鋮^(qū)域。

4.根據(jù)權(quán)利要求1所述的方法，其中，

所述補(bǔ)全后的輪廓邊緣圖中包括所述待填充圖像中缺失部分的實(shí)例的輪廓信息；

所述基于所述補(bǔ)全后的輪廓邊緣圖，對(duì)所述待填充圖像進(jìn)行填充處理，包括：

基于所述補(bǔ)全后的輪廓邊緣圖中的所述缺失部分的實(shí)例的輪廓信息，對(duì)所述待填充圖像進(jìn)行填充處理。

5.一種圖像填充裝置，包括：

輪廓檢測(cè)模塊，用于對(duì)待填充圖像中的實(shí)例進(jìn)行輪廓檢測(cè)，獲得所述待填充圖像中的實(shí)例的輪廓邊緣圖，所述輪廓邊緣圖中包括至少一個(gè)缺失區(qū)域，其中，所述輪廓檢測(cè)模塊是利用第一類訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練而生成的，所述第一類訓(xùn)練數(shù)據(jù)包括：待填充圖像和對(duì)應(yīng)的輪廓邊緣圖；

輪廓補(bǔ)全模塊，基于第一掩模，由對(duì)所述輪廓邊緣圖進(jìn)行輪廓補(bǔ)全處理，得到補(bǔ)全后的輪廓邊緣圖，其中所述第一掩模的感興趣區(qū)域?qū)?yīng)于所述至少一個(gè)缺失區(qū)域，其中，所述輪廓補(bǔ)全模塊是利用第二類訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練而生成的，所述第二類訓(xùn)練數(shù)據(jù)包括：有缺失的輪廓邊緣圖和對(duì)應(yīng)的補(bǔ)全后的輪廓邊緣圖；

圖像填充模塊，用于基于所述補(bǔ)全后的輪廓邊緣圖，由對(duì)所述待填充圖像進(jìn)行填充處理，得到填充后的圖像，其中，所述圖像填充模塊是利用第三類訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練而生成的，所述第三類訓(xùn)練數(shù)據(jù)包括：待填充圖像與補(bǔ)全后的輪廓邊緣圖的拼接矩陣和對(duì)應(yīng)的填充后的圖像。

6.根據(jù)權(quán)利要求5所述的裝置，其中，

所述補(bǔ)全后的輪廓邊緣圖與所述待填充圖像各自對(duì)應(yīng)矩陣的長(zhǎng)寬維度相同，且圖像通道數(shù)不同；

所述裝置還包括：

拼接模塊，用于對(duì)所述補(bǔ)全后的輪廓邊緣圖的矩陣與所述待填充圖像的矩陣在通道維度上進(jìn)行拼接，并將拼接后的矩陣發(fā)送給所述圖像填充模塊。

7.根據(jù)權(quán)利要求5所述的裝置，還包括：

預(yù)處理模塊，用于在所述輪廓檢測(cè)模塊進(jìn)行輪廓檢測(cè)之前，將目標(biāo)圖像中的目標(biāo)區(qū)域去除，得到待填充圖像，所述待填充圖像中缺失的區(qū)域?yàn)榇畛鋮^(qū)域。

8.根據(jù)權(quán)利要求5所述的裝置，其中，

所述補(bǔ)全后的輪廓邊緣圖中包括所述待填充圖像中缺失部分的實(shí)例的輪廓信息；

所述圖像填充模塊用于基于所述補(bǔ)全后的輪廓邊緣圖中的所述缺失部分的實(shí)例的輪廓信息，對(duì)所述待填充圖像進(jìn)行填充處理。