[發明專利]物體自動識別方法以及系統、購物設備和存儲介質

有效

• 申請號: 201810270142.8
• 申請日: 2018-03-29
• 公開（公告）號: CN108734087B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 劉童;劉向陽;唐小軍;張治國
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06V20/20
• 分類號: G06V20/20
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

一種物體自動識別方法、物體自動識別系統、購物設備和計算機可讀存儲介質。該物體自動識別方法包括：獲取第一圖像和第二圖像，所述第一圖像和所述第二圖像均包含物體，所述第二圖像為深度圖像；基于所述第一圖像，提取所述物體的特征點；基于來自所述第一圖像的所述特征點和所述第二圖像的深度信息，以得到聯合特征；基于所述聯合特征，識別所述物體。

技術領域

本公開的實施例涉及一種物體自動識別方法、物體自動識別系統、購物設備和計算機可讀存儲介質。

背景技術

隨著人工智能的發展，計算機視覺逐漸應用于人們的日常生活中。計算機視覺是通過對采集得到的圖片和/或視頻進行處理，以識別圖片和/或視頻中的各種物體。計算機視覺可以用于物體自動識別(例如，商品識別等)等場景。目前，物體自動識別的方法通常僅基于物體的二維圖像(例如，灰度或彩色圖像)，對物體做出識別。由于二維圖像易受到光照、視角、噪聲等因素的影響，物體自動識別的可靠性在復雜場景下不能得到保證。

發明內容

本公開至少一實施例提供一種物體自動識別方法，其包括：獲取第一圖像和第二圖像，所述第一圖像和所述第二圖像均包含物體，所述第二圖像為深度圖像；基于所述第一圖像，提取所述物體的特征點；基于來自所述第一圖像的所述特征點和所述第二圖像的深度信息，以得到聯合特征；以及基于所述聯合特征，識別所述物體。

例如，在本公開一些實施例提供的物體自動識別方法中，基于所述第一圖像，提取所述物體的特征點，包括：獲取所述第一圖像的目標區域，在所述目標區域內包括所述物體；以及提取所述目標區域內的所述物體的特征點。

例如，在本公開一些實施例提供的物體自動識別方法中，獲取所述第一圖像的目標區域，包括：對所述第一圖像進行圖像分割處理，以得到所述第一圖像的目標區域；或者對所述第二圖像進行圖像分割處理，以得到所述第二圖像的深度目標區域；對所述第一圖像和所述第二圖像進行配準操作，以得到所述第一圖像和所述第二圖像之間的配準信息；以及基于所述配準信息和所述深度目標區域，得到所述第一圖像的目標區域。

例如，在本公開一些實施例提供的物體自動識別方法中，基于來自所述第一圖像的所述特征點和所述第二圖像的深度信息，以得到所述聯合特征，包括：基于所述特征點和所述第二圖像的深度信息，計算所述物體的三維特征；以及融合所述三維特征和所述特征點，以得到所述聯合特征。

例如，在本公開一些實施例提供的物體自動識別方法中，基于所述特征點和所述第二圖像的深度信息，計算所述物體的三維特征，包括：基于所述特征點和所述第二圖像的深度信息，建立所述特征點的三維坐標系；以及根據所述特征點的三維坐標系，計算與所述特征點對應的三維特征。

例如，在本公開一些實施例提供的物體自動識別方法中，基于所述特征點和所述第二圖像的深度信息，建立所述特征點的三維坐標系，包括：對所述第一圖像和所述第二圖像進行配準操作，以得到所述第一圖像和所述第二圖像之間的配準信息；根據所述特征點，確定所述物體的特征表面；基于所述特征點和所述配準信息，計算所述特征表面的特征描述點的三維信息；以及基于所述特征描述點的三維信息和所述特征點，建立所述特征點的三維坐標系。

例如，在本公開一些實施例提供的物體自動識別方法中，基于所述特征描述點的三維信息和所述特征點，建立所述特征點的三維坐標系，包括：根據所述特征描述點的三維信息，計算在所述特征點處的法向量，所述法向量的方向作為所述三維坐標系的第一軸方向；以及根據所述法向量，得到在所述特征點處的切平面以及在所述切平面上的所述特征點的兩個主曲率的主方向，所述兩個主曲率的主方向相互垂直，且所述兩個主曲率的主方向分別作為所述三維坐標系的第二軸方向和第三軸方向。

例如，在本公開一些實施例提供的物體自動識別方法中，根據所述特征點的三維坐標系，計算與所述特征點對應的三維特征，包括：計算所述特征表面的特征描述點在所述三維坐標系中的坐標；以及根據所述特征點在所述三維坐標系中的坐標和所述多個特征描述點在所述三維坐標系中的坐標，計算與所述特征點對應的三維特征。