[發明專利]一種日光溫室番茄植株圖像無監督深度估計方法

有效

• 申請號: 202011317617.8
• 申請日: 2020-11-23
• 公開（公告）號: CN112419387B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 周云成;吳瓊;苗騰;鄧寒冰;金莉;徐靜
• 申請（專利權）人: 沈陽農業大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06V10/82;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 沈陽科威專利代理有限責任公司 21101
• 代理人: 胡野

本發明涉及一種日光溫室番茄植株圖像無監督深度估計方法，包括以下步驟：（1）設置深度卷積自編碼器來作為實現雙目圖像深度估計的函數，預測與圖像像素對齊的左、右目視差圖；（2）重構左目圖像同時用該函數重構右目圖像；（3）設置能夠度量圖像表觀差異的函數來度量重構圖像和目標圖來重構誤差，以該誤差為監督信號訓練，將復合函數解耦；（4）估計日光溫室番茄植株雙目圖像的視差。本方法大幅提高了以圖像為基礎的日光溫室番茄植株深度估計精度，可為進一步的番茄植株表型檢測、溫室三維結構重建提供數據，同時為溫室移動作業平臺的自主導航與避障提供了可能性，為溫室移動機器人視覺系統設計提供技術支撐。

技術領域

本發明涉及圖像處理領域，具體是涉及一種日光溫室番茄植株圖像無監督深度估計方法，可用于番茄植株表型檢測、溫室環境三維結構重構、農業移動機器人導航避障等應用中。

背景技術

目前在日光溫室環境下深度信息的獲取主要采用以下幾類方法：

基于電磁波或聲波的主動深度感知方法。這類方法首先由傳感器向溫室目標場景發射電磁波或超聲波，利用目標物的反射波來探測深度，這類方法主要包括LiDAR、Kinect。

基于圖像匹配的被動感知方法。這類方法首先用人工特征提取算子提取并描述多個視角圖像的圖像塊特征，然后利用特征匹配算法匹配多視角圖像塊，由此計算視差，并由視差獲取圖像深度。

基于運動恢復結構的方法。這類方法利用多張圖像或視頻序列，通過對序列中多個特征點的跟蹤來恢復相機的參數及場景的三維結構。

基于深度學習的單目深度估計方法。這類方法通過圖像/深度數據集，通過有監督學習方法訓練一個神經網絡，并利用該網絡預測場景深度。或者通過無監督方法聯合訓練一個深度估計網絡和一個姿態估計網絡，利用視圖重構誤差來做監督信號。

上述已有的日光溫室環境下深度信息獲取方法還存在著諸多限制。主動感知技術僅能獲取深度信息，無法直接獲取溫室番茄植株的RGB圖像用于進一步的語義分析，也很難將深度數據與RGB圖像像素對齊，如LiDAR成本仍然高昂，很難直接應用于農業移動機器人的視覺系統開發中，Kinect難以直接工作于日光溫室環中的復雜光照條件下。植株圖像顏色、紋理單一，基于特征點匹配和跟蹤的方法，會出現大量的誤匹配，未能解決深度信息的精度問題。有監督學習的深度估計方法需要大量的以深度作為標注的圖像數據，這類方法無法適應變化的工作場景，當從一個工作場景轉換到另一個場景時，其泛化效果不理想，而無監督單目深度估計方法存在著深度和姿態相互耦合的問題，無法精確估計場景的深度信息。

發明內容

為了彌補上述現有技術的不足，本發明的目的是提出一種日光溫室番茄植株圖像無監督深度估計方法，大幅提高了以圖像為基礎的日光溫室番茄植株深度估計精度，在20m的圖像采樣范圍內，其絕對誤差小于7cm，可為進一步的番茄植株表型檢測、溫室三維結構重建提供數據，同時為溫室移動作業平臺的自主導航與避障提供了可能性，為溫室移動機器人視覺系統設計提供技術支撐。

本發明提出了一種日光溫室番茄植株圖像無監督深度估計方法，其技術要點是：構建基于雙目圖像的日光溫室番茄植株無監督深度估計模型，包括以下步驟：

(1)設置深度卷積自編碼器來作為實現雙目圖像深度估計的函數f_D，所述函數f_D以日光溫室番茄植株雙(左、右)目圖像(I_l，I_r)作為輸入，預測與圖像像素對齊的左、右目視差圖(D_l，D_r)；

(2)f_B為可微分雙線性插值采樣函數，所述函數f_B能夠根據D_l從I_r上采樣，重構左目圖像同時用該函數重構右目圖像