[發(fā)明專利]用于基于視覺(jué)的結(jié)賬的被遮擋物品檢測(cè)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110721952.2
• 申請(qǐng)日: 2021-06-28
• 公開(kāi)（公告）號(hào): CN113869343A
• 公開(kāi)（公告）日: 2021-12-31
• 發(fā)明（設(shè)計(jì)）人: 弗蘭克·道格拉斯·希內(nèi)克;楊茜
• 申請(qǐng)（專利權(quán)）人: NCR公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/46;G06N20/20;G06Q40/04;G06T7/136;G06T7/194
• 代理公司: 上海脫穎律師事務(wù)所 31259
• 代理人: 脫穎

1.一種方法，其包括：

針對(duì)第一圖像訓(xùn)練第一機(jī)器學(xué)習(xí)算法以基于所述第一圖像中存在的第一物品的未遮擋視圖而標(biāo)識(shí)所述第一物品；

針對(duì)第二圖像訓(xùn)練第二機(jī)器學(xué)習(xí)算法以基于所述第二圖像中存在的多對(duì)第二物品的被遮擋視圖而標(biāo)識(shí)所述第二物品；

在交易終端處進(jìn)行交易期間接收交易區(qū)域的交易圖像；

在所述交易圖像內(nèi)創(chuàng)建邊界框，所述邊界框包括與所述第一物品的所述未遮擋視圖相關(guān)聯(lián)的第一邊界框和與所述第二物品的所述被遮擋視圖相關(guān)聯(lián)的第二邊界框；

將所述第一邊界框提供到所述第一機(jī)器學(xué)習(xí)算法，并接收回對(duì)應(yīng)第一物品的第一物品標(biāo)識(shí)符；

將所述第二邊界框提供到所述第二機(jī)器學(xué)習(xí)算法，并接收回對(duì)應(yīng)第二物品的第二物品標(biāo)識(shí)符；以及

用所述第一物品標(biāo)識(shí)符和所述第二物品標(biāo)識(shí)符處理所述交易。

2.根據(jù)權(quán)利要求1所述的方法，其中訓(xùn)練所述第一機(jī)器學(xué)習(xí)算法進(jìn)一步包含提供所述第一圖像作為所述第一物品中的每一個(gè)的多個(gè)不同的相機(jī)角度視圖。

3.根據(jù)權(quán)利要求1所述的方法，其中訓(xùn)練所述第二機(jī)器學(xué)習(xí)算法進(jìn)一步包含提供所述第二圖像作為每對(duì)所述第二物品的多個(gè)不同的被遮擋視圖。

4.根據(jù)權(quán)利要求1所述的方法，其中接收進(jìn)一步包含通過(guò)去除所述交易圖像中存在的已知背景場(chǎng)景而將所述交易圖像裁剪為已裁剪圖像。

5.根據(jù)權(quán)利要求4所述的方法，其中創(chuàng)建進(jìn)一步包含從所述已裁剪圖像中標(biāo)識(shí)特征，并處理所述特征以標(biāo)識(shí)所述未遮擋視圖和所述被遮擋視圖。

6.根據(jù)權(quán)利要求5所述的方法，其中提供所述第一邊界框進(jìn)一步包含將與所述第一邊界框相關(guān)聯(lián)的對(duì)應(yīng)特征提供到所述第一機(jī)器學(xué)習(xí)算法。

7.根據(jù)權(quán)利要求6所述的方法，其中提供所述第二邊界框進(jìn)一步包含將與所述第二邊界框相關(guān)聯(lián)的所述對(duì)應(yīng)特征提供到所述第二機(jī)器學(xué)習(xí)算法。

8.一種系統(tǒng)，其包括：

相機(jī)；

交易終端；

服務(wù)器，其包括處理器和非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有可執(zhí)行指令；并且

所述可執(zhí)行指令在由所述處理器從所述非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)執(zhí)行時(shí)，使所述處理器執(zhí)行包括以下各項(xiàng)的處理：

從所述相機(jī)獲得交易的交易區(qū)域的交易圖像；

通過(guò)去除與所述交易區(qū)域相關(guān)聯(lián)的已知背景場(chǎng)景而將所述交易圖像裁剪為已裁剪圖像；

從所述已裁剪圖像提取特征；

基于所述特征而從所述已裁剪圖像中標(biāo)識(shí)單物品；

基于所述特征而標(biāo)識(shí)重疊的具有被遮擋視圖的多個(gè)物品；

從經(jīng)過(guò)訓(xùn)練的第一機(jī)器學(xué)習(xí)算法獲得所述單物品的第一物品標(biāo)識(shí)符；

從經(jīng)過(guò)訓(xùn)練的第二機(jī)器學(xué)習(xí)算法獲得所述多個(gè)物品的第二物品標(biāo)識(shí)符；以及

處理所述第一物品標(biāo)識(shí)符和所述第二物品標(biāo)識(shí)符以在所述交易終端處完成交易。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中所述交易終端是自助服務(wù)終端(SST)。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述SST是基于視覺(jué)的SST，其通過(guò)提供所述第一物品標(biāo)識(shí)符和所述第二物品標(biāo)識(shí)符而基于所述交易圖像執(zhí)行交易物品的物品識(shí)別。

11.一種方法，包括權(quán)利要求1-7中的任意一個(gè)技術(shù)特征或者技術(shù)特征的任意組合。

12.一種系統(tǒng)，包括權(quán)利要求8-10中的任意一個(gè)技術(shù)特征或者技術(shù)特征的任意組合。