[發明專利]一種商品識別與姿態估計方法及裝置

在審

• 申請號: 202110710231.1
• 申請日: 2021-06-25
• 公開（公告）號: CN113344108A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 陳萬春
• 申請（專利權）人: 視比特（長沙）機器人科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京中企訊專利代理事務所(普通合伙) 11677
• 代理人: 熊亮

1.一種商品識別與姿態估計方法，其特征在于，包括：

訓練得到至少能夠識別出圖片中的商品的種類及商品所在區域位置的商品識別模型，所述圖片為對商品所在的實際環境拍攝得到；

確定對應每個所述商品的局部區域模板，所述局部區域模板用于體現所述商品在所述實際環境中，位于不同觀察角度下的姿態；

將包含目標商品的實際場景圖片輸入至所述商品識別模型中，獲得由所述商品識別模型輸出的所述目標商品的種類以及目標商品在所述實際場景圖片中的區域位置；

基于所述目標商品的種類及區域位置確定與所述目標商品匹配的目標區域模板；

至少基于所述目標區域模板確定所述目標商品的姿態估計結果；

基于所述姿態估計結果輔助實現機器人對所述目標商品的操作。

2.根據權利要求1所述的方法，其特征在于，還包括：

獲得第一數量的所述圖片；

對所述圖片中的所述商品的種類及輪廓進行標注；

基于目標處理方式處理所述第一數量的圖片，以生成第二數量的圖片，所述目標處理方式包括用于合成新圖片的數據合成方式、縮放圖片中商品大小以生成新圖片的方式、改變圖片中商品的位置、姿態以生成新圖片的方式中的一種或多種。

3.根據權利要求2所述的方法，其特征在于，所述訓練得到至少能夠識別出圖片中的商品的種類及商品所在區域位置特征的商品識別模型，包括：

調整所述第二數量的圖片的尺寸；

在調整后的所述第二數量的圖片上以固定比例及尺寸標準確定檢測區域；

利用確定有所述檢測區域的所述第二數量的圖片對神經網絡模型進行訓練，以使所述神經網絡模型能夠識別出每個所述檢測區域內是否具有所述商品；

將被所述神經網絡模型判斷具有所述商品的檢測區域運用非極大值抑制算法進行合并，并輸入至所述神經網絡模型中，以訓練所述神經網絡模型對合并后的所述檢測區域中的商品種類及商品所在區域位置的識別能力，進而形成能夠確定所述圖片中商品的種類以及所述商品在所述圖片中的位置的商品識別模型。

4.根據權利要求1所述的方法，其特征在于，所述確定對應每個所述商品的局部區域模板，包括：

獲得所述商品在所述實際場景中位于不同觀察角度下的圖片；

基于角點檢測算法確定出每個所述圖片中的所述商品表面具有目標角點特征的目標位置；

從所述圖片中提取包含所述目標位置相鄰區域的第一圖片；

基于仿射變換算法處理所述第一圖片以生成所述局部區域模板。

5.根據權利要求1所述的方法，其特征在于，所述將包含目標商品的實際場景圖片輸入至所述商品識別模型中，獲得由所述商品識別模型輸出的所述目標商品的種類以及目標商品在所述實際場景圖片中的區域位置，包括：

獲取基于機器人視野獲得的包含目標商品的實際場景圖片；

將所述包含目標商品的實際場景圖片輸入至所述商品識別模型中，以獲得所述目標商品的種類以及目標商品在所述實際場景圖片中的區域位置。

6.根據權利要求1所述的方法，其特征在于，所述基于所述目標商品的種類及區域位置確定與所述目標商品匹配的目標區域模板，包括：

基于所述目標商品的區域位置在所述實際場景圖片中的區域進行角點檢測，以確定出角點位置；

確定所述實際場景圖片中與所述角點位置相鄰的區域為待檢測區域；

基于所述目標商品的種類確定商品種類相同的所述區域模板；

計算所述待檢測區域與確定的所述區域模板之間的匹配度；

至少基于所述匹配度確定所述目標區域模板。

7.根據權利要求1所述的方法，其特征在于，所述至少基于所述匹配度確定所述目標區域模板，包括：

基于所述匹配度以及隨機抽樣一致算法確定所述目標區域模板。