[發明專利]一種建立果園中果樹冠層特征地圖的方法

有效

• 申請號: 201910456521.0
• 申請日: 2019-05-29
• 公開（公告）號: CN110298914B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 沈躍;盛晨航;劉慧;崔業民
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80;G06F18/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種建立果園中果樹冠層特征地圖的方法，包括使用RGB?D相機實時采集機器人運動過程中周圍環境圖像的彩色信息與深度信息，并使用語義分割網絡分割果樹與其他環境特征，根據分割后的圖像保留深度圖像中果樹的信息，從而生成果樹的點云數據；提取彩色圖像中的特征角點，計算相鄰兩幀圖像相機的運動，并與IMU數據進行融合，從而估計出相機的運動狀態；將多幀圖像及相機位姿估計采用因子圖構建優化問題，優化相機的位姿；根據果樹點云數據與相機位姿構建果樹冠層的八叉樹地圖。采集果園豐富的環境信息，提高機器人對果園環境的理解，滿足機器人完成更高級的作業要求，比如自動導航，變量噴霧，水果采摘等。

技術領域

本發明涉及視覺SLAM技術與語義分割技術，特別提供一種建立果園中果樹冠層特征地圖的方法。

背景技術

從土壤分析，到果園管理，再到氣候檢測、水果采摘，多種精準農業技術正在應用到果園生產的各個環節，精準農業正在成為現代果園發展的未來。果園自主作業機器人正逐漸替代人完成果園中繁復的勞動，自主作業機器人的關鍵技術之一是環境感知技術，根據采集的數據創建數字地圖，從而指導機器人自主移動。

SLAM(同步定位與建圖)被認為是實現機器人真正全自主移動的關鍵，傳統的果園SLAM方法大多采用激光雷達傳感器提取果樹樹干特征，建立果樹樹干的特征地圖，但是果園中的雜草和立柱會增加果樹樹干特征提取的錯誤率，同時果樹樹干特征地圖提供的信息太過單一，不能對果園環境進行更高層次的理解，從而滿足精準農業的要求，而且激光雷達的成本也遠遠高于視覺傳感器。

除此以外，還有采用單目相機、雙目相機、深度相機的視覺SLAM方法。單目相機無法通過單張圖像深度信息，需要在運動過程中估計圖像深度，不適用于果園移動機器人。雙目相機計算量巨大，需要采用硬件資源加速才能實時輸出圖像的深度信息。而深度相機則可以非常容易的實時獲取彩色圖像與深度圖像，大大減少了計算量。但是基于傳統機器視覺方法的視覺SLAM不能適應果園中果樹樹葉的顏色、生長的變化。

當相機運動過快或者視覺識別錯誤時，單獨采用視覺傳感器來估計機器人的運動會產生較大誤差，不能確保果園作業機器人的可靠性。

發明內容

為了解決上述問題，本發明提供了一種建立果園中果樹冠層特征地圖的方法，從而滿足精準農業中果園作業機器人自主導航作業的需求。

本發明的技術方案如下：

基于深度相機與IMU融合的果園果樹冠層特征地圖建立方法包括以下步驟：

步驟1：采用基于RGB-D相機實時采集環境的彩色信息和深度信息，采用高頻率IMU(慣性測量單元)測量角速度和線性加速度，對IMU數據進行積分，得到相機位姿的測量向量M。步驟2：采用全卷積神經網絡FCN，實現像素級別端到端的語義分割，然后利用條件隨機場CRF優化語義分割結果，將果樹冠層彩色圖像和深度圖像轉換為點云數據。步驟3：提取分割后彩色圖像果樹的ORB特征點，對相鄰兩幀圖像中的特征點配對，剔除兩幀圖像誤匹配的特征點，計算相機位姿的變換矩陣T，構建圖優化問題，融合RGB-D相機與IMU，優化相機位姿的變換矩陣T。步驟4：根據步驟3得到的相機位姿變換矩陣T，對步驟2得到的關鍵幀的點云數據進行拼接，采用八叉樹建立果樹冠層特征地圖。

進一步，所述步驟2具體包括：

采用全卷積神經網絡FCN，實現像素級別端到端(end-to-end)的語義分割，然后利用條件隨機場CRF優化語義分割結果，區分彩色圖像中的果樹冠層與地面、天空等無關特征，每個像素都有一個類別標簽，以每個像素點作為節點，像素與像素間的聯系作為邊，就構成了一個條件隨機場CRF，通過觀測變量x來推測像素對應的類別標簽y，最大化條件概率函數