[發(fā)明專利]圖像填充方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010612254.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111784799A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 李超
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06T7/12;G06N3/04;G06N3/08
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 郭麗祥;武晨燕

1.一種圖像填充方法，包括：

對待填充圖像進行實例分割，得到所述待填充圖像對應(yīng)的實例分割圖，所述實例分割圖包括至少一個缺失區(qū)域；

對所述實例分割圖進行補全處理，得到補全后的實例分割圖；

基于所述補全后的實例分割圖，對所述待填充圖像進行填充處理，得到填充后的圖像。

2.根據(jù)權(quán)利要求1所述的方法，其中，

所述補全后的實例分割圖與所述待填充圖像各自對應(yīng)矩陣的長寬維度相同，且圖像通道數(shù)不同；

在所述基于所述補全后的實例分割圖，對所述待填充圖像進行填充處理之前，所述方法還包括：

對所述補全后的實例分割圖的矩陣與所述待填充圖像的矩陣在通道維度上進行拼接，以拼接后的矩陣作為所述填充處理的對象。

3.根據(jù)權(quán)利要求1所述的方法，在所述對待填充圖像進行實例分割之前，所述方法還包括：

將目標(biāo)圖像中的目標(biāo)區(qū)域去除，得到待填充圖像，所述待填充圖像中缺失的區(qū)域為待填充區(qū)域。

4.根據(jù)權(quán)利要求1所述的方法，其中，

所述補全后的實例分割圖中包括所述待填充圖像中缺失部分的實例信息；

所述基于所述補全后的實例分割圖，對所述待填充圖像進行填充處理，包括：

基于所述補全后的實例分割圖中的所述缺失部分的實例信息，對所述待填充圖像進行填充處理。

5.根據(jù)權(quán)利要求1-4中任一項所述的方法，其中，

所述實例分割、所述補全處理以及所述填充處理分別由實例分割模塊、實例補全模塊以及圖像填充模塊執(zhí)行，其中，

所述實例分割模塊是利用第一類訓(xùn)練數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練而生成的，所述第一類訓(xùn)練數(shù)據(jù)包括：待填充圖像和對應(yīng)的實例分割圖，其中所述實例分割圖中包括至少一個缺失區(qū)域；

所述實例補全模塊是利用第二類訓(xùn)練數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練而生成的，所述第二類訓(xùn)練數(shù)據(jù)包括：有缺失的實例分割圖和對應(yīng)的補全后的實例分割圖；

所述圖像填充模塊是利用第三類訓(xùn)練數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練而生成的，所述第三類訓(xùn)練數(shù)據(jù)包括：待填充圖像與補全后的實例分割圖的拼接矩陣和對應(yīng)的填充后的圖像。

6.一種圖像填充裝置，包括：

實例分割模塊，用于對待填充圖像進行實例分割，得到所述待填充圖像對應(yīng)的實例分割圖，所述實例分割圖包括至少一個缺失區(qū)域；

實例補全模塊，用于對所述實例分割圖進行補全處理，得到補全后的實例分割圖；

圖像填充模塊，用于基于所述補全后的實例分割圖，對所述待填充圖像進行填充處理，輸出填充后的圖像。

7.根據(jù)權(quán)利要求6所述的裝置，其中，

所述補全后的實例分割圖與所述待填充圖像各自對應(yīng)矩陣的長寬維度相同，且圖像通道數(shù)不同；

所述裝置還包括：

拼接模塊，用于對所述補全后的實例分割圖的矩陣與所述待填充圖像的矩陣在通道維度上進行拼接，并將拼接后的矩陣發(fā)送給所述圖像填充模塊。

8.根據(jù)權(quán)利要求6所述的裝置，還包括：

預(yù)處理模塊，用于在所述實例分割模塊進行實例分割之前，將目標(biāo)圖像中的目標(biāo)區(qū)域去除，得到待填充圖像，所述待填充圖像中缺失的區(qū)域為待填充區(qū)域。

9.根據(jù)權(quán)利要求6所述的裝置，其中，

所述補全后的實例分割圖中包括所述待填充圖像中缺失部分的實例信息；

所述圖像填充模塊用于基于所述補全后的實例分割圖中的所述缺失部分的實例信息，對所述待填充圖像進行填充處理。