[發明專利]一種基于2D相機的物體分離機及物體分離方法

在審

• 申請號: 202111166830.8
• 申請日: 2021-09-30
• 公開（公告）號: CN113936051A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 張文利;趙庭松;劉鈺昕;王宇飛;彭新宇;鄭超
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06T7/70;G06V20/00;G06Q10/08;B07C5/342
• 代理公司: 北京動力號知識產權代理有限公司 11775
• 代理人: 林超

1.一種基于2D相機的物體分離機，其特征在于，包括：

布置在下部的物體傳送帶，布置在所述物體傳送帶上方的多個不同高度和/或角度的2D相機，與多個所述2D相機相連的數據處理器以及傳送帶控制系統；其中，所述2D相機以一定的高度差并且以對單件物體能夠整個視野尺寸覆蓋的規則架設；所述數據處理器獲取多臺2D相機分別采集的多幅圖像，對采集后的多幅圖像利用物體的特征信息將有高度差的兩臺2D相機間的物體關聯匹配；對不同高度相機中對同一物體成像利用相機成像原理計算物體的真實尺寸，并輸出準確的物體位置信息；所述傳送帶控制系統用于接收所述物體的位置信息，并控制所述物體傳送帶進行物體分離。

2.一種基于2D相機的物體分離方法，其特征在于，包括：

預處理部分以及線上處理部分，其中所述預處理部分包括相機架設步驟以及相機標定步驟，所述線上處理部分包括物體的角點檢測步驟、跨相機相同物體識別步驟、物體的實際空間尺寸及位置計算步驟；

所述相機架設步驟用于架設多臺2D相機，所述相機標定步驟用于對所述多臺2D相機進行標定獲得不同相機在物體圖像的像素圖像坐標系間的映射關系，所述物體的角點檢測步驟用于獲得所述物體的角點信息并進而獲得物體的圖像信息，所述跨相機相同物體識別步驟采用重識別算法對關聯匹配區域的多個物體進行精確識別，最終給不同圖像中的相同物體分配同一個編號，所述物體的實際空間尺寸及位置計算步驟利用相同物體在有一定高度的兩相機圖像位置的差異，修正所述物體由于遠小近大成像造成的誤差，然后計算所述物體的實際空間尺寸及位置信息，輸出到傳送帶控制系統實現所述物體的單件分離。

3.根據權利要求2所述的基于2D相機的物體分離方法，其特征在于，所述相機架設步驟包括：

設置三個2D相機，分別為入口相機(1)、中點相機(2)以及出口相機(3)；其中，所述入口相機(1)架設在所述物體傳送帶的入口正上方，高為a，所述入口相機(1)的光軸與豎直方向傾斜一定角度放置；所述中點相機(2)架設在視野尺寸中點正上方，高為b，中點相機(2)的光軸沿豎直方向垂直所述物體傳送帶平面俯視放置；所述出口相機(3)架設在出口正上方，高為a，所述出口相機(3)的光軸與豎直方向傾斜一定角度放置。

4.根據權利要求2所述的基于2D相機的物體分離方法，其特征在于，所述相機標定步驟包括：對兩相機拍攝圖像建立像素坐標系，實際物體的高度確定時，映射關系在該高度下的任意位置始終不變，不同高度的所述2D相機之間進行不同高度的兩次標定并獲得兩個映射關系，從而獲得不同高度之間任意高度物體的位置；所述相機標定步驟包括將有高度差的所述2D相機所成圖像在同一實際空間視野區域進行坐標轉換，獲取同一實際空間位置坐標在不同相機間的像素圖像坐標，最終獲取兩個2D相機對同一實際空間坐標的像素點映射關系，即視為完成一次相機標定；通過前述相機標定步驟完成兩次標定，包括0高度平面和最大高度平面兩高度之間的2D相機之間像素點的映射關系，0高度映射關系視為第一映射關系，最大高度平面映射關系視為第二映射關系；同時，以2D相機左上角為原點建立圖像坐標系，進而根據相機覆蓋的視野尺寸和相機分辨率建立成像平面坐標系，獲取像素點長度和所述物體實際物理長度的對應關系。

5.根據權利要求2所述的基于2D相機的物體分離方法，其特征在于，所述物體的角點檢測步驟包括：在常規目標檢測算法中加入旋轉因子，對擺放不規則的物體以及異形件特殊物體進行精準檢測，最終得到物體上表面的多個角點坐標以及物體在圖像中的位置，所述旋轉因子包括采用旋轉yolov5、R²CNN、RRPN、Gliding vertex、P-RSDet或SCRDet的旋轉目標檢測模型或者輕量化深度學習檢測模型實現所述旋轉目標測試。

6.根據權利要求2或3所述的基于2D相機的物體分離方法，其特征在于，所述跨相機相同物體識別步驟包括：設置關聯匹配區域以及物體重識別。