[發明專利]一種圖像語義分割和3D重建的貨架防碰撞檢測方法

有效

• 申請號: 202010095156.8
• 申請日: 2020-02-14
• 公開（公告）號: CN111340874B
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 王孝奇
• 申請（專利權）人: 蕪湖啟迪睿視信息技術有限公司
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/50;B65G1/04;G06V10/26;G06V10/82
• 代理公司: 蕪湖思誠知識產權代理有限公司 34138
• 代理人: 項磊

本發明公開了一種圖像語義分割和3D重建的貨架防碰撞檢測方法，包括下列步驟：S1、通過深度相機采集貨架前部的圖像信息；S2、對圖像信息進行預處理，包括圖像去畸變和圖像對齊；S3、在彩色圖像中過神經網絡語義分割模型分割出表示高架庫支架的支架區域；S4、基于支架區域中的深度位置信息重建貨物的基準參考平面；S5、將貨物的深度位置信息結合所述基準參考平面構建碰撞檢測平面，提取貨物位置特征判斷是否發送碰撞風險信息。本發明只需在堆垛架上設置深度相機和光源，就能準確判斷出是否有突出物伸出貨架并可能造成碰撞風險，提高了判斷的準確性并降低了檢測設備的數量和總成本。

技術領域

本發明涉及一種圖像語義分割和3D重建的貨架防碰撞檢測方法。

背景技術

現在視覺識別技術開始廣泛用于物流領域，現有技術中如果貨架中貨物未裝滿，堆垛機及隨其運動的堆垛架沿貨架排列方向移動，當到達指定裝貨的貨架處，通過堆垛機的推料機構能將貨物推入貨架，實現堆垛后貨物的裝運。而如果貨物上或貨物之間具有突出物，且突出物伸出貨架入口太長，則有可能阻礙堆垛架及其上貨物的運輸推送過程，堆垛架移動過程中可能將貨架上的凸出物和貨物推動掉落，從而導致需要重新堆垛貨物甚至貨物損壞。

現在常在貨架上設置相應環境采集設備檢測貨物位置即是否有突出物，但是采用在各個貨架上光電開關柵，不僅需要較多的設備成本，而且單個貨架區域的采集范圍有限，當突出物體積較小而凸出長度較大時，可能被因光電開關柵存在間隙和采集盲點導致突出物無法被設于貨架上的采集設備檢測到。而由于貨架存放貨物后圖像比較復雜，而體積較小的突出物在二維圖像上不明顯，不能準確判斷其伸出貨架入口的距離，因此難以準確判定是否存在阻礙堆垛機的風險。

發明內容

本發明的目的在于提供一種圖像語義分割和3D重建的貨架防碰撞檢測方法，以解決現有技術中無法保證無遺漏并且準確識別出突出物伸出貨架的長度，從而難以判定是否有突出物阻礙堆垛機風險的問題。

所述的一種圖像語義分割和3D重建的貨架防碰撞檢測方法，包括下列步驟：

S1、通過深度相機采集貨架前部的圖像信息，所述圖像信息包括深度位置信息和彩色成像信息；

S2、對圖像信息進行預處理，包括圖像去畸變和圖像對齊；

S3、在彩色成像信息形成的彩色圖像中過神經網絡語義分割模型分割出表示高架庫支架的支架區域；

S4、基于支架區域讀取與其對應的深度位置信息，并據此重建貨物的基準參考平面；

S5、對高架庫支架內的貨物的深度位置信息結合所述基準參考平面構建碰撞檢測平面，對碰撞檢測平面進行特征提取，并根據結果判斷是否發送碰撞風險信息。

優選的，所述支架區域包括支架豎梁區域和支架橫梁區域，根據支架橫梁區域中的深度位置信息構建平面作為深度相機的水平校準平面；根據所述支架豎梁區域的深度位置信息構建檢測參考平面，基于所述參考平面和所述水平校準平面建立了貨物的基準參考平面。

優選的，特征提取所述碰撞檢測平面的數據包括深度位置信息與檢測參考平面之間的差值數據，所述差值數據屬于安全閾值內時不發送碰撞風險信息，否則發送。

優選的，采用所述貨架防碰撞檢測方法的檢測系統包括貨物狀態采集模塊、貨物狀態檢測模塊和碰撞告警模塊，所述貨物狀態采集模塊包括堆垛機上盛裝貨物的堆垛架和安裝在所述堆垛架上的所述深度相機，所述貨物狀態檢測模塊為用于判斷是否發送碰撞風險信息的工控機，所述碰撞告警模塊接受碰撞風險信息時，向中央控制系統實時推送，告知堆垛機剎車和相應人員對對應倉位進行擺貨處理。

優選的，所述神經網絡語義分割模型通過下面方法建立：

步驟1、采用U型對稱級聯的神經網絡進行深度學習建立神經網絡語義分割模型；

步驟2、對采集圖像進行灰度化并進行自適應計算實現灰度補償；