[發明專利]一種基于雙目視覺和RTK的果園局部稀疏建圖方法和系統

在審

• 申請號: 202010889827.8
• 申請日: 2020-08-28
• 公開（公告）號: CN111950524A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 劉海峰;孟祥寶;鐘林憶;潘明;馮小川;李騰宇;劉朝陽;盧嘉威;黃家懌;高翔
• 申請（專利權）人: 廣東省現代農業裝備研究所;廣州市健坤網絡科技發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 王華強

本發明公開了一種基于雙目視覺和RTK的果園局部稀疏建圖方法和系統，利用農業作業車輛安裝的高精度定位RTK及雙目視覺測距模塊，基于深度學習方法識別果樹，并通過雙目測距并結合RTK得到每棵樹的經緯度坐標，獲得局部稀疏建圖。本發明公開的系統包括雙目視覺模塊和RTK定位模塊；所述雙目視覺模塊包括左右兩個用于采集果園果樹視覺圖像的攝像機，分別為左攝像機和右攝像機，左右視覺圖像經過計算后獲取果樹坐標；RTK定位模塊獲取RTK模塊所在位置的經緯度信息；雙目視覺模塊和RTK定位模塊安裝于作業車輛上，雙目視覺模塊的左攝像機和右攝像機對稱安裝于RTK定位模塊的RTK天線左右兩側。

技術領域

本發明涉及果園建圖方法和系統，通過獲取每棵果樹的經緯度坐標，最終實現果園局部稀疏建圖。

背景技術

地圖是農業領域無人農機作業路徑規劃的前提，尤其是我國山地丘陵地區環境下的自動導航與駕駛，更是離不開作業環境的地圖，由于缺少作業環境地圖，一定程度上已經限制了當前我國無人農機自動駕駛作業的實際應用及推廣。當前，基于路徑規劃的方法，不管是傳統的人工勢場法、蟻群算法或A*、D*算法，還是目前比較流行的SLAM(即時定位與建圖)或VSLAM(基于視覺的即時定位與建圖)算法，都要基于全局或局部已知的地圖。由于果園環境下的特殊性，目前常用的建圖方法如SLAM或無人機航拍都不能有效地解決其無人行走機械的路徑規劃問題。比如SLAM多用于室內，在室外環境下視覺SLAM容易受光線條件的影響，激光SLAM成本高，單線激光雷達又完全滿足不了需求。無人機航拍雖然可以建出比較高精度的俯視地圖，但是人工成本高，需要專業的人員進行航拍并構建地圖，如果環境發生變化就要重新建圖，另外還需要做地圖與實際定位的坐標匹配，對農機作業或管理人員來說操作技術難度大。

本發明專利針對果園的主要目標果樹進行建圖，將每棵樹當成一個坐標點來看待，并計算出這個點的經緯度。如果得到了這個點的經緯度，那么就可以方便實現無人農機作業的路徑規劃、果樹定靶等功能，在完成一次建圖情況下，下次無人農機作業路徑規劃、果樹定靶等無需再引入任何傳感器或設備進行輔助目標識別。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，本發明公開了一種基于雙目視覺和RTK的果園局部稀疏建圖方法和系統，利用農業作業車輛安裝的高精度定位RTK及雙目視覺測距模塊，基于深度學習方法識別果樹，并通過雙目測距并結合RTK得到每棵樹的經緯度坐標，獲得局部稀疏建圖。

為了達到上述目的，本發明公開的系統采用以下技術方案予以實現：

一種基于雙目視覺和RTK的果園局部稀疏建圖系統，包括雙目視覺模塊和RTK定位模塊；所述雙目視覺模塊包括左右兩個用于采集果園果樹視覺圖像的攝像機，分別為左攝像機和右攝像機，左右視覺圖像經過計算后獲取果樹坐標；RTK定位模塊獲取RTK模塊所在位置的經緯度信息；雙目視覺模塊和RTK定位模塊安裝于作業車輛上，雙目視覺模塊的左攝像機和右攝像機對稱安裝于RTK定位模塊的RTK天線左右兩側。

本發明公開的一種基于雙目視覺和RTK的果園局部稀疏建圖方法，其局部稀疏建圖方法包括以下步驟：

(1)雙目視覺相機成像；采集得到時間連續的一幀幀的圖像；其圖像采集方法為：利用雙目攝像頭拍攝在行進過程中的視頻，將視頻按每秒30幀張圖像解壓成多張圖像；

(2)對第i幀圖像，通過深度學習算法對果樹進行識別，并獲取視覺圖像中第k棵果樹中心的像素坐標P_ik(x，y)；深度學習算法核心采用卷積神經網絡，深度學習步驟包括對收集的果樹原始圖像進行預處理，構成訓練集和測試集，計算訓練集和測試集的均值圖像，通過深度學習識別出在第i幀圖像中的第k棵樹中心的像素坐標P_ik(x，y)；