[發明專利]一種基于深度相機的機場自助托運行李的檢測方法

有效

• 申請號: 202010133513.5
• 申請日: 2020-03-02
• 公開（公告）號: CN111353985B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 劉霖;朱嘉宸;肖璇璐;張靜;劉娟秀;杜曉輝;倪光明;劉永
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06T7/50;G06T3/00;G06T7/62;G06K9/62;G06V10/46;G06V10/764
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 陳一鑫

該發明公開了一種基于深度相機的機場自助托運行李的檢測方法，屬于機器視覺工業技術領域。提供一種機器視覺檢測方案，包括光學方案的設計以及檢測算法的流程。解決現有技術中缺乏行李規格尺寸檢測和檢測精度低的問題。本發明利用雙深度相機進行三維點云拼接的方法，降低了值機系統機器的高度同時覆蓋最大行李尺寸范圍，有效地實現了機場行李外觀檢測與場景分類識別，實現了旅客值機時行李自助托運的功能，從而可以減少機場的人力資源成本，提高工作效率。

技術領域

本發明屬于機器視覺工業技術領域，具體描述為一種基于深度相機的機場自助行李托運的關鍵技術方案。

背景技術

自助行李托運技術在國內仍不成熟，大多都缺少行李的規格、尺寸、體積以及形狀以及搬運難易程度的檢測。

無論國際還是國內，解決這類檢測物體外觀與分類的問題，多采用機器視覺的方法，然而對行李物品來說，普通工業相機對行李的外觀很難做到精確把控。深度相機是機器視覺發展過程中一項意義重大的技術產品，其應用領域十分廣泛，在智能人機交互、人臉技術、三維重建、機器人、AR等領域全面開花。目前國內已有使用深度相機進行行李檢測的方案，但是單個深度相機會存在視場范圍有限的局限性，此外如何提高算法的精度以及降低復雜度更是一直以來的難點。

發明內容

本發明的目的在于提供一種機器視覺檢測方案，包括光學方案的設計以及檢測算法的流程。解決現有技術中缺乏行李規格尺寸檢測和檢測精度低的問題。

參考民航二所的檢測需求，主要有以下幾點：①能夠檢測行李形態，并向上位機發送檢測結果。行李形態：軟包、圓形物品、不規則物品(嬰兒車、高爾夫球袋、購物用塑料等等)、行李箱。②能夠檢測多包行李，并向上位機發送結果。多包行李指：兩件(含兩件)以上的行李連續放入或者并排放入輸送機。③能夠檢測軟包行李是否裝在行李框內，并向上位機發送結果。④檢測行李尺寸，包含長寬高信息，并向上位機發送結果。

為了達到上述目的，本發明的解決方案是一種基于深度相機的機場自助托運行李的檢測方法，包括如下步驟：

步驟1：在自主托運機傳送帶的正上方順傳送方向依次設置兩個深度相機，傳送帶的上方兩側各設置一根條形光源；

步驟2：通過兩臺深度相機采集到行李的3維點云進行點云拼接，然后將3維點云轉化為2維深度圖，降低處理的數據量以提高速度，并對2維深度圖進行預處理，預處理包括：降噪和平滑處理；

步驟3：通過預處理后的2維深度圖像判斷有無行李框；

步驟4：通過預處理后的步驟2得到的2維深度圖像結合SVM算法判斷是否有多件行李；若有多件行李直接反饋給旅客行李超過1件，不符合托運規定，若只有1件行李則進行步驟5；

步驟5：通過預處理后的2維深度圖像結合行李面積與行李旋轉外接矩形的面積比以及行李的長寬高來判斷行李是軟包還是硬包；

在有行李框的情況下：若是硬包則直接反饋給旅客硬包行李不用裝框，若為軟包則進行步驟7；

在沒有行李框的情況下：若是硬包則進行步驟6，若是軟包則反饋給旅客軟包行李需要裝框；

步驟6：通過預處理后的2維深度圖像并對物體高度對應像素分辨率進行數學建模，來對行李尺寸進行檢測，尺寸符合要求進行步驟7，尺寸不符合要求進行則反饋給旅客行李尺寸不符合要求；

步驟7：通過托運，反饋各項檢測結果。

進一步的，所述步驟2中，采用基于特征提取的點云融合方法，該方法分為初始融合和精確融合兩個階段；初始融合階段，是提取兩個點云之間的特征尋找特征對應點，借助特征對應點計算轉換矩陣；精確融合階段是把上個步驟計算的轉換矩陣作為該階段的初始值，然后借助精確融合算法進行融合；具體步驟為：