[發明專利]一種基于消失點檢測的單目零售貨架姿態估計方法和裝置

在審

• 申請號: 202010571259.7
• 申請日: 2020-06-19
• 公開（公告）號: CN111932608A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 牟永強
• 申請（專利權）人: 廣州圖匠數據科技有限公司
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/00;G01B11/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發明公開一種基于消失點檢測的單目零售貨架姿態估計方法和裝置，所述方法包括：采用直線檢測算法對輸入的圖像完成直線檢測；在對所述輸入的圖像完成直線檢測后，采用消失點檢測算法獲取所述圖像中所有可能出現的消失點組；利用等效球面和篩選算法對所有所述可能出現的消失點組進行篩選并選取最優的消失點組；通過各所述最優消失點在等效球面中的偏角表示貨架姿態。本發明實施例不僅無需額外的輔助角度傳感器便能夠對零售場景中的單目貨架進行姿態估計，還由于考慮了景深信息，得出的姿態估計結果更加準確。此外，相對于采用三維景深傳感器以及陀螺儀等硬件設備進行姿態估計，能夠降低成本。

技術領域

本發明涉及姿態估計技術領域，尤其涉及一種基于消失點檢測的單目零售貨架姿態估計方法和裝置。

背景技術

近年來，科技的快速發展促進智慧零售應用的落地，深度學習技術應用在智慧零售的案例不斷增多，如商品識別技術等。在商品識別技術中，不規范的拍照步驟會影響最后的識別結果。發明人在研究中發現，解決該問題的關鍵步驟是以貨架姿態估計技術完成對發生角度偏轉的目標進行估計，然后根據目標的估計結果以變換矩陣完成姿態矯正。當前的目標姿態估計技術主要通過三維景深傳感器以及陀螺儀等硬件設備獲取圖像中目標的姿態或僅通過二維圖片信息估計目標姿態算法替換三維景深傳感器實現姿態估計。然而，采用三維景深傳感器以及陀螺儀等硬件設備成本較高，僅通過二維圖片信息估計目標姿態算法替換三維景深傳感器解決目標姿態估計容易丟失景深信息。

發明內容

本發明的目的在于提供一種基于消失點檢測的單目零售貨架姿態估計方法，無需輔助角度傳感器，能夠在單目圖片下完成貨架姿態估計，且姿態估計更準確。

為了解決上述技術問題，第一方面，本發明實施例提供一種基于消失點檢測的單目零售貨架姿態估計方法，包括：

采用直線檢測算法對輸入的圖像完成直線檢測；其中，所述圖像為單目相機拍攝貨架的圖像；

在對所述輸入的圖像完成直線檢測后，采用消失點檢測算法獲取所述圖像中所有可能出現的消失點組；其中，每一消失點組均包括與其對應的第一消失點、第二消失點和第三消失點；

利用等效球面和篩選算法對所有所述可能出現的消失點組進行篩選并選取最優的消失點組；其中，所述最優消失點組包括的消失點均為最優消失點；

通過各所述最優消失點在等效球面中的偏角表示貨架姿態。

進一步地，所述采用消失點檢測算法獲取所有可能出現的消失點組，包括：

確定所述圖像的原點和所述圖像的焦距；

根據所述圖像的原點、所述圖像的焦距和所述圖像中任意點構建等效球面；

在所述圖像上隨機找到兩條直線并求出所述兩條直線的交點，將所述交點帶入等效球面，得出其在等效球面中的坐標；其中，所述坐標為第一消失點的坐標；

根據各維度消失點在3維空間中相互垂直關系，在所述第一消失點垂直平面以1度為間隔獲取第二消失點的坐標；

根據所述第一消失點的坐標、所述第二消失點的坐標以及3點相互垂直關系求解出第三消失點的坐標；其中，所述3點為第一消失點、第二消失點和第三消失點；

遍歷所述圖像中任意相交兩條直線，并獲取所有可能出現的消失點組；其中，每一組消失點組包括與其對應的第一消失點、第二消失點和第三消失。

進一步地，所述等效球面為：

其中，f為焦距，(x₀，y₀)為圖像原點、(x，y)為圖像中的任意點。

進一步地，第二個消失點的計算公式為：