[發明專利]一種基于雙目視覺的集卡定位與引導的方法及其系統

有效

• 申請號: 201510599986.3
• 申請日: 2015-09-18
• 公開（公告）號: CN105303555B
• 公開（公告）日: 2017-12-05
• 發明（設計）人: 高飛;汪韜;李定謝爾;倪逸揚;朱浩楠;童偉圓;盧書芳;張元鳴;肖剛
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 杭州天正專利事務所有限公司33201
• 代理人: 王兵,黃美娟

技術領域

本發明涉及一種集卡定位與引導的方法及其系統，尤其是一種利用雙目視覺技術針對集卡前往碼頭或集裝箱堆場時的定位與引導的方法及其系統。

背景技術

目前，在碼頭或堆場的集裝箱操作中，為提高工作效率，通常需要集裝箱卡車(簡稱集卡)按既定車道進入到場地的指定位置之后，起重機才開動大車至集卡上方，放下吊具進行抓箱或放箱，在這個過程中，集卡是否進入到場地的指定位置通常需要額外的人員進行指揮，使整個集裝箱的抓放操作效率變得低下。

為解決上述問題，國內外許多企業、學者提出了不同的方案，其中與本發明最近的技術方案包括：發明專利(公開號：CN101096262A，名稱：集裝箱起重機的集卡車對位系統和方法)利用攝像機拍攝集裝箱卡車圖像并與起重機吊具輪廓比對完成粗定位，然后利用激光掃描集裝箱卡車進行精確定位，該方案效率低、成本高；發明專利(公開號：CN103324198A，名稱：一種基于計算機視覺技術的集卡定位自動引導系統及其使用方法)與本發明的技術方案最接近，其不同點在于：(1)該發明技術方案中需提前將集卡上的目標特征及其理論位置預先設定在主控機內，如果一輛未知集卡進入工作場所，則無法識別，因此其工作效率較低，而本發明技術方案中將目標特征確定為未裝載集裝箱時集卡車頭的兩個鎖頭中心點的連線或裝載集裝箱時集卡上面的集裝箱上靠近車頭的兩個鎖孔中心點的連線，該目標特征無需預先設定，而是通過機器學習算法自動、實時識別；(2)該發明技術方案中，需要司機將集卡開到固定的貝位上才能進行后續定位，而本發明技術方案中可通過幀差法自動檢測集卡是否進入工作場所，其自動化程度及工作效率明顯提高；(3)該發明技術方案中，利用攝像設備攝取現場圖像并通過圖像處理軟件獲取目標特征的實時位置，該方法給出的方案并不明確，同時因目標特征距離地面存在一定的高度，該方法無法得到其準確的物理位置，而本發明技術方案中利用計算機視覺的三維重建技術獲得其物理位置將更準確且方法更加明確；(4)該發明技術方案中，其標識物固定在吊具上，在每次定位引導過程中均需識別一次，而本發明技術方案中，標識物為固定噴涂在地面上，整個系統只需一次標定即可，效率更高。

發明內容

本發明要克服現有集卡定位與引導技術方案的不足，提供一種基于雙目視覺的集卡定位與引導的方法及其系統。

本發明的技術方案為：

一種基于雙目視覺的集卡定位與引導的方法，包括如下步驟：

步驟1：對工業相機進行標定，并建立以兩臺工業相機的中點為世界坐標原點的三維坐標系，其中x軸與y軸構成的坐標平面與地面平行，同時建立x-y平面坐標到引導電子看板平面坐標的映射；

步驟2：兩臺工業相機分別拍攝定位標識線，基于雙目視覺的三維重建技術計算得到定位標識線在x-y平面的中點坐標；

步驟3：利用其中一臺工業相機按一定的幀頻拍攝引導車道的圖像，并以幀差法監測車道上是否有集卡進入視場；

步驟4：確認有集卡進入視場后，兩臺工業相機按相同幀頻同時拍攝集卡圖像，以幀差法實時識別并跟蹤集卡，通過機器學習算法自動、實時識別集卡目標特征，基于雙目視覺的三維重建技術計算并建立集卡目標特征在x-y平面的坐標；所述集卡目標特征識別過程為：當集卡未裝載集裝箱時，識別集卡車頭的兩個鎖頭，將其中心點的連線作為集卡目標特征；當集卡已經裝載集裝箱時，識別集卡上面的集裝箱上靠近車頭的兩個鎖孔，將其中心點的連線作為集卡目標特征；

步驟5：在引導電子看板中繪制定位標識線的圖形，同時根據步驟4中計算得到的集卡目標特征的坐標繪制并刷新集卡圖像在引導電子看板上的十字線，該十字線的一條線與集卡前進方向一致，另一條線與前進方向垂直；

步驟6：計算集卡目標特征的中心點到定位標識線中心點在x-y平面上的距離并在引導電子看板上顯示；

步驟7：計算十字線中與集卡前進方向垂直的直線與定位標識線的夾角，并在引導電子看板中顯示；

步驟8：集卡司機根據引導電子看板顯示的距離以及夾角移動車輛，當距離小于20mm且夾角小于0.25度時，完成集卡定位與引導；

作為優選，所述一種集卡定位與引導系統的工作步驟中步驟5在電子看板中繪制圖形的頻率、步驟6在電子看板中顯示距離的頻率和步驟7在電子看板中顯示夾角的頻率與步驟4的圖像采集頻率相同。