[發明專利]物體自動識別方法以及系統、購物設備和存儲介質

有效

• 申請號: 201810270142.8
• 申請日: 2018-03-29
• 公開（公告）號: CN108734087B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 劉童;劉向陽;唐小軍;張治國
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06V20/20
• 分類號: G06V20/20
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

1.一種物體自動識別方法，包括：

獲取第一圖像和第二圖像，所述第一圖像和所述第二圖像均包含物體，所述第二圖像為深度圖像；

基于所述第一圖像，提取所述物體的特征點；

基于來自所述第一圖像的所述特征點和所述第二圖像的深度信息，以得到聯合特征；以及

基于所述聯合特征，識別所述物體；

基于來自所述第一圖像的所述特征點和所述第二圖像的深度信息，以得到所述聯合特征，包括：

基于所述特征點和所述第二圖像的深度信息，計算所述物體的三維特征；以及

融合所述三維特征和所述特征點，以得到所述聯合特征，

其中，基于所述特征點和所述第二圖像的深度信息，計算所述物體的三維特征，包括：

基于所述特征點和所述第二圖像的深度信息，建立所述特征點的三維坐標系；以及

根據所述特征點的三維坐標系，計算與所述特征點對應的三維特征；

其中，與所述特征點對應的三維特征包括表面形狀特征描述子，

根據所述特征點的三維坐標系，計算與所述特征點對應的三維特征，包括：

根據所述特征點，確定所述物體的特征表面，其中，所述特征表面包括多個特征描述點和所述特征點，所述多個特征描述點為所述特征表面的除了所述特征點之外的像素點；

計算所述多個特征描述點在所述三維坐標系中的坐標；

計算所述特征點在所述三維坐標系中的坐標分別與所述多個特征描述點在所述三維坐標系中的坐標之間的多個差值，將所述多個差值作為所述表面形狀特征描述子。

2.根據權利要求1所述的物體自動識別方法，其中，基于所述第一圖像，提取所述物體的特征點，包括：

獲取所述第一圖像的目標區域，在所述目標區域內包括所述物體；以及

提取所述目標區域內的所述物體的特征點。

3.根據權利要求2所述的物體自動識別方法，其中，獲取所述第一圖像的目標區域，包括：

對所述第一圖像進行圖像分割處理，以得到所述第一圖像的目標區域；或者

對所述第二圖像進行圖像分割處理，以得到所述第二圖像的深度目標區域；對所述第一圖像和所述第二圖像進行配準操作，以得到所述第一圖像和所述第二圖像之間的配準信息；以及基于所述配準信息和所述深度目標區域，得到所述第一圖像的目標區域。

4.根據權利要求1所述的物體自動識別方法，其中，基于所述特征點和所述第二圖像的深度信息，建立所述特征點的三維坐標系，包括：

對所述第一圖像和所述第二圖像進行配準操作，以得到所述第一圖像和所述第二圖像之間的配準信息；

基于所述特征點和所述配準信息，計算所述特征表面的多個特征描述點的三維信息；以及

基于所述多個特征描述點的三維信息和所述特征點，建立所述特征點的三維坐標系。

5.根據權利要求4所述的物體自動識別方法，其中，基于所述多個特征描述點的三維信息和所述特征點，建立所述特征點的三維坐標系，包括：

根據所述多個特征描述點的三維信息，計算在所述特征點處的法向量，所述法向量的方向作為所述三維坐標系的第一軸方向；以及

根據所述法向量，得到在所述特征點處的切平面以及在所述切平面上的所述特征點的兩個主曲率的主方向，所述兩個主曲率的主方向相互垂直，且所述兩個主曲率的主方向分別作為所述三維坐標系的第二軸方向和第三軸方向。

6.根據權利要求1所述的物體自動識別方法，其中，融合所述三維特征和所述特征點，以得到所述聯合特征，包括：

將所述三維特征的維度和所述特征點的維度進行融合處理，以得到所述聯合特征。

7.根據權利要求1所述的物體自動識別方法，其中，基于所述聯合特征，識別所述物體，包括：

基于所述聯合特征，利用分類器計算所述物體為不同類別時的多個得分數；以及

根據所述多個得分數，確定所述物體的識別結果。

8.根據權利要求7所述的物體自動識別方法，還包括：

輸出所述物體的識別結果。