[發明專利]基于機器視覺的堆垛信息實時識別方法及系統

在審

• 申請號: 202210060106.5
• 申請日: 2022-01-19
• 公開（公告）號: CN114565837A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 屠長河;高偉杰;孟祥奇;張博洋
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06K9/62;G06N3/04;G06N3/08;G06V10/26;G06V10/774;G06V10/82
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于機器視覺的堆垛信息實時識別方法，其特征是，包括：

獲取由兩個攝像頭同步實時采集的移動叉車上堆垛貨物的圖像；其中，第一攝像頭以頂視角度安裝在門式框架的正上方居中位置；第二攝像頭以側視角度安裝在門式框架的側面；所述圖像，包括：貨物的頂面圖像和貨物的側面圖像；所述圖像，包括：二維圖像和深度圖像；

從若干幅貨物的頂面圖像中，選取堆垛區域處于頂面圖像最佳位置的最佳頂面圖像；從若干幅獲取的側面圖像中，選取與所述最佳頂面圖像相同時刻拍攝的側面圖像作為最佳側面圖像；

對最佳頂面圖像和最佳側面圖像進行圖像分割處理，得到貨物在叉車上堆垛的狀態；根據貨物在叉車上堆垛的狀態，計算出貨物的箱子尺寸，并計算出箱子的數量。

2.如權利要求1所述的基于機器視覺的堆垛信息實時識別方法，其特征是，所述方法還包括：

根據貨物的坐標運動軌跡，判斷出堆垛的進出倉狀態。

3.如權利要求1所述的基于機器視覺的堆垛信息實時識別方法，其特征是，從若干幅貨物的頂面圖像中，選取堆垛區域處于頂面圖像最佳位置的最佳頂面圖像；其中，最佳位置的確定方式為：

采用訓練后的圖像識別網絡對頂面二維圖像中的堆垛區域進行實時識別；

選擇頂面圖像的堆垛區域中心位置，距離頂面圖像中心位置最近的圖像，作為最佳頂面圖像。

4.如權利要求1所述的基于機器視覺的堆垛信息實時識別方法，其特征是，對最佳頂面圖像和最佳側面圖像進行圖像分割處理，得到貨物在叉車上堆垛的狀態；具體包括：

采用訓練后的圖像分割網絡，對最佳頂面圖像和最佳側面圖像進行圖像分割處理，得到貨物在叉車上不同堆垛狀態的圖像；

其中，貨物在叉車上堆垛的狀態，包括：橫放類、縱放類和平放類。

5.如權利要求1所述的基于機器視覺的堆垛信息實時識別方法，其特征是，根據貨物在叉車上堆垛的狀態，計算出貨物的箱子尺寸；其中，如果貨物在叉車上堆垛的狀態為橫放類，則箱子尺寸的計算過程包括：

計算頂面分割圖像中的橫放類區域Y軸方向尺寸；

計算側面分割圖像中的橫放類區域Y軸方向尺寸；

頂面分割圖中橫放類的Y軸方向尺寸是瓷磚的長或寬，側面橫放類區域在Y軸方向尺寸是瓷磚的寬或長；

得出瓷磚的長和寬的尺寸后，通過預設的箱子尺寸表，查表得出箱子的高度。

6.如權利要求1所述的基于機器視覺的堆垛信息實時識別方法，其特征是，根據貨物在叉車上堆垛的狀態，計算出貨物的箱子尺寸；其中，如果貨物在叉車上堆垛的狀態為縱放類，則箱子尺寸的計算過程包括：

找到箱子堆垛區域的最小外接矩形；針對最小外接矩形的兩條邊分別計算長度；

對其中一對平行的兩條邊分別取N個等距的點；并將第一條邊的點與對應第二條邊的點進行兩兩連接，得到N條線；

基于深度圖像，計算N條線的長度；

針對這N條線，分別去掉最長和最短的2個，求剩下N-4條長度的平均值，將平均值作為平行線之間的距離，是為矩形的一條邊長；

計算矩形的另一條邊長。

7.如權利要求1所述的基于機器視覺的堆垛信息實時識別方法，其特征是，計算出箱子的數量；具體包括：

計算頂面分割圖中橫放類區域箱子數量；

計算頂面分割圖中縱放類區域箱子數量；

計算頂面分割圖中平放類區域箱子數量；

相加以上三個步驟的箱子數量得到堆垛中箱子數量。