[發(fā)明專利]圖像處理方法以及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010411827.7
• 申請(qǐng)日: 2020-05-15
• 公開（公告）號(hào): CN111340878B
• 公開（公告）日: 2021-03-05
• 發(fā)明（設(shè)計(jì)）人: 郭林杰;馬岳文
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06T5/50;G06K9/62
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 付先智

1.一種圖像處理方法，包括：

獲取目標(biāo)物品的物品圖像；

確定所述目標(biāo)物品在所述物品圖像對(duì)應(yīng)的相機(jī)坐標(biāo)系中的位置坐標(biāo)；

根據(jù)所述位置坐標(biāo)，在所述相機(jī)坐標(biāo)系添加至少一個(gè)虛擬物品；

生成包含所述虛擬物品在目標(biāo)視角的圖像特征的二維的中間圖像；所述目標(biāo)視角根據(jù)所述物品圖像的采集視角確定；

將所述中間圖像中所述虛擬物品的圖像特征與所述物品圖像進(jìn)行圖像融合，獲得初始物品識(shí)別模型的樣本圖像；

根據(jù)所述物品圖像中所述目標(biāo)物品的目標(biāo)圖像特征的目標(biāo)掩模信息，以及所述圖像特征的掩模信息，獲得所述樣本圖像中所述目標(biāo)物品的樣本圖像特征的掩模標(biāo)注信息；

根據(jù)所述掩模標(biāo)注信息對(duì)所述樣本圖像進(jìn)行標(biāo)注，獲得所述樣本圖像的標(biāo)注圖像，其中，所述樣本圖像以及所述標(biāo)注圖像組成訓(xùn)練樣本對(duì)。

2.根據(jù)權(quán)利要求1所述的圖像處理方法，所述物品圖像，通過如下方式獲得：

向抓取設(shè)備下發(fā)針對(duì)所述目標(biāo)物品的移動(dòng)指令；所述移動(dòng)指令中攜帶初始位置的初始坐標(biāo)以及目標(biāo)位置的目標(biāo)坐標(biāo)；

接收所述抓取設(shè)備上傳的針對(duì)所述移動(dòng)指令的執(zhí)行反饋通知；

向圖像采集設(shè)備下發(fā)針對(duì)所述目標(biāo)位置的圖像采集指令；

接收所述圖像采集設(shè)備上傳的所述物品圖像。

3.根據(jù)權(quán)利要求2所述的圖像處理方法，所述抓取設(shè)備根據(jù)所述初始坐標(biāo)，從初始位置抓取所述目標(biāo)物品，將所述目標(biāo)物品移動(dòng)至所述目標(biāo)坐標(biāo)對(duì)應(yīng)的所述目標(biāo)位置，并在移動(dòng)完成后上傳針對(duì)所述移動(dòng)指令的執(zhí)行反饋通知；

所述圖像采集設(shè)備根據(jù)所述圖像采集指令中攜帶的所述目標(biāo)坐標(biāo)，對(duì)所述目標(biāo)位置的所述目標(biāo)物品進(jìn)行圖像采集，獲得所述物品圖像并上傳。

4.根據(jù)權(quán)利要求2所述的圖像處理方法，所述確定所述目標(biāo)物品在所述物品圖像對(duì)應(yīng)的相機(jī)坐標(biāo)系中的位置坐標(biāo)，包括：

根據(jù)所述目標(biāo)坐標(biāo)以及預(yù)設(shè)變換矩陣，計(jì)算所述目標(biāo)物品在所述物品圖像對(duì)應(yīng)的相機(jī)坐標(biāo)系中的位置坐標(biāo)。

5.根據(jù)權(quán)利要求2所述的圖像處理方法，所述根據(jù)所述位置坐標(biāo)，在所述相機(jī)坐標(biāo)系添加至少一個(gè)虛擬物品，包括：

獲取所述執(zhí)行反饋通知包含的所述目標(biāo)物品的形狀信息；

在所述位置坐標(biāo)添加與所述形狀信息大小匹配的標(biāo)記虛擬物品；

根據(jù)獲取的所述圖像采集設(shè)備的所述采集視角，確定所述相機(jī)坐標(biāo)系的目標(biāo)視角；

在根據(jù)所述標(biāo)記虛擬物品以及所述目標(biāo)視角確定的目標(biāo)區(qū)域，添加至少一個(gè)虛擬物品。

6.根據(jù)權(quán)利要求5所述的圖像處理方法，所述根據(jù)所述位置坐標(biāo)，在所述相機(jī)坐標(biāo)系添加至少一個(gè)虛擬物品步驟執(zhí)行之后，且所述生成包含所述虛擬物品在目標(biāo)視角的圖像特征的二維的中間圖像步驟執(zhí)行之前，還包括：

根據(jù)所述標(biāo)記虛擬物品以及所述虛擬物品與所述相機(jī)坐標(biāo)系中原點(diǎn)之間距離，確定所述標(biāo)記虛擬物品與所述虛擬物品之間的遮擋關(guān)系；

相應(yīng)的，所述將所述中間圖像與所述物品圖像進(jìn)行圖像融合，獲得初始物品識(shí)別模型的樣本圖像，包括：

根據(jù)所述遮擋關(guān)系，在所述中間圖像的中間圖像單元以及所述物品圖像的圖像單元中篩選出樣本圖像單元，組成所述樣本圖像。

7.根據(jù)權(quán)利要求5所述的圖像處理方法，所述根據(jù)所述位置坐標(biāo)，在所述相機(jī)坐標(biāo)系添加至少一個(gè)虛擬物品步驟執(zhí)行之后，且所述生成包含所述虛擬物品在目標(biāo)視角的圖像特征的二維的中間圖像步驟執(zhí)行之前，還包括：

從所述目標(biāo)視角對(duì)所述標(biāo)記虛擬物品以及所述虛擬物品進(jìn)行圖像渲染，獲得渲染圖像；

根據(jù)所述渲染圖像，確定所述標(biāo)記虛擬物品的標(biāo)記圖像特征與所述圖像特征的遮擋關(guān)系；

相應(yīng)的，所述將所述中間圖像與所述物品圖像進(jìn)行圖像融合，獲得初始物品識(shí)別模型的樣本圖像，包括：

針對(duì)所述物品圖像中目標(biāo)圖像單元所在的目標(biāo)圖像區(qū)域，根據(jù)所述遮擋關(guān)系，判斷所述目標(biāo)圖像區(qū)域在所述渲染圖像對(duì)應(yīng)的渲染圖像區(qū)域是否屬于遮擋區(qū)域；

若是，將所述目標(biāo)圖像區(qū)域在中間圖像對(duì)應(yīng)的中間圖像區(qū)域內(nèi)的中間圖像單元，確定為所述目標(biāo)圖像區(qū)域在樣本圖像中對(duì)應(yīng)的樣本圖像區(qū)域的樣本圖像單元；

若否，將所述圖像單元確定為所述樣本圖像單元。