[發明專利]一種多模態數據的集裝箱貨物位置與尺寸檢測方法

在審

• 申請號: 202211544559.1
• 申請日: 2022-12-02
• 公開（公告）號: CN115930791A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 董世康;潘智斌;譚家梁;馮嵩;雷鵬
• 申請（專利權）人: 湖北潤鐵軌道裝備有限公司
• 主分類號: G01B11/02
• 分類號: G01B11/02;G01S17/08;G06T7/73;G06T7/60
• 代理公司: 武漢中知誠業專利代理事務所(普通合伙) 42271
• 代理人: 施志勇

本發明提供一種多模態數據的集裝箱貨物位置與尺寸檢測方法，包括以下步驟：步驟一、采用光學相機與激光雷達等傳感器；步驟二、計算不同傳感器坐標系的轉換變換方法；步驟三、檢測出集裝箱貨物在待檢測空間中的位置；步驟四、生成了被檢測區域的點云數據；步驟五、從被檢測區域內的點云數據中，識別出貨物的部分；步驟六、利用相機與點云的數據，計算出貨物的空間位置與尺寸參數。該方法減少了人工檢測過程的步驟，利用多種傳感器融合的方式，獲取集裝箱內信息，包括貨物擺放是否整齊、每一層貨物位置。既能及時獲取貨物的運輸狀態，降低了人工因跨國物流感染病毒的風險，同時也能為貨物的自動化裝卸提供數據支持。

技術領域

本發明涉及集裝箱技術領域，具體為一種多模態數據的集裝箱貨物位置與尺寸檢測方法。

背景技術

集裝箱是一種能裝載包裝或無包裝貨物進行運輸，并便于用機械設備進行裝卸搬運的成組工具。其應用范圍廣泛，實現了全球范圍內的船舶、港口、航線、公路、中轉站、橋梁、隧道等多式聯運相配套的物流系統。在集裝箱貨物自動裝卸的過程中，集裝箱內的貨物擺放狀態，會直接影響到自動卸貨裝置的卸貨效率及成功率。現有的方法均是通過人工觀測，通過人眼觀測后再進行人工卸貨或人工操作相關設備卸貨。

但是常規的人工檢測方法，需要工作人員近距離觀測集裝箱內部紙箱貨物的狀態。常規檢測方法效率低下，占用了大量的人力物力資源，同時常規方法會提升工作人員通過集裝箱貨物感染病毒的風險。

發明內容

針對現有技術存在的不足，本發明目的是提供一種多模態數據的集裝箱貨物位置與尺寸檢測方法，以解決上述背景技術中提出的問題。本發明自動化程度高，檢測精準性高，節約了人力物力資源，信息采集更加全面可靠。

為了實現上述目的，本發明是通過如下的技術方案來實現：一種多模態數據的集裝箱貨物位置與尺寸檢測方法，包括以下步驟：步驟一、采用光學相機與激光雷達等傳感器，安裝部署在集裝箱開口處；步驟二、根據傳感器間的安裝位置，及被檢測物體在不同傳感器間的相關位置，計算不同傳感器坐標系的轉換變換方法；步驟三、激光雷達通過掃描獲取到集裝箱內部貨物的三維點云數據，并通過算法檢測出集裝箱貨物在待檢測空間中的位置；步驟四、激光雷達通過發送周期性的激光脈沖并接受信號，通過發送與接收之間的時間差，計算出每個激光信號點與檢測點之間的距離，通過密集的檢測點的組合，生成了被檢測區域的點云數據；步驟五、從被檢測區域內的點云數據中，識別出貨物的部分；步驟六、利用相機與點云的數據，計算出貨物的空間位置與尺寸參數。

進一步的，所述步驟一中，兩個傳感器的檢測方向相互平行，且兩個傳感器的位置為左右安裝或上下安裝。

進一步的，通過在標定的三維空間中放置若干組參考點，通過參考點在相機和激光雷達數據中的相關參數，聯立方程即可計算出激光雷達與相機之間的旋轉矩陣與平移矢量的值。

進一步的，所述步驟三中，激光雷達通過發送周期性的激光脈沖并接受信號，通過發送與接收之間的時間差，計算出每個激光信號點與檢測點之間的距離。

進一步的，所述步驟五過程中，需要進行預處理，包括濾除掉數據中的噪聲等操作。

進一步的，通過找出紙箱貨物的大致區域，擬合出點云中的各個平面。

進一步的，計算各平面區域的法向量，且法向量的求解采用內積法，通過方程組計算出法向量的值。

進一步的，利用法向量參數對各平面進行濾除，僅保留法向量與地面近似平行，方向與集裝箱開口處近似相同的部分。

進一步的，對于紙箱貨物平整度檢測，需要在檢測出各紙箱貨物平面的基礎上，提取各紙箱平面的深度均值與法向量。

進一步的，通過傳感器標定后的參數，換算出集裝箱貨物在相機圖像中的位置，同時檢測相機中相對區域中的圖像信息，獲取集裝箱內貨物的圖像特征，所述步驟六中，通過獲取到的貨物圖像特征，并結合對應位置的點云數據，可以計算出貨物的空間位置與尺寸參數。