[發明專利]一種立體視覺感知方法、裝置、設備、介質及無人收割機

在審

• 申請號: 202211356600.2
• 申請日: 2022-11-01
• 公開（公告）號: CN115661794A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 李邦國;儲成高;王輝;孫凱信;倪云龍;徐樂程
• 申請（專利權）人: 濰柴雷沃智慧農業科技股份有限公司
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/82;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 朱曉彤

本發明涉及一種立體視覺感知方法、裝置、設備、介質及無人收割機，該方法包括：獲取通過立體視覺傳感器獲取到的彩色圖像、第一灰度圖和第二灰度圖；根據所述第一灰度圖和所述第二灰度圖，確定所述第一灰度圖和所述第二灰度圖對應的三維深度圖信息；根據所述彩色圖像，通過預先訓練的障礙物識別模型，識別出所述彩色圖像中的目標障礙物以及所述目標障礙物在所述彩色圖像上的目標框；根據所述目標框和所述三維深度圖信息，確定所述目標障礙物的中心點在相機坐標系下的目標三維位置。通過本發明的方法，可以更加準確的識別目標障礙物的位置，同時，本申請方案沒有采用激光雷達和單目視覺，可避免現有技術中采用激光雷達和單目視覺帶來的技術問題。

技術領域

本發明涉及圖像處理、機器學習和拖拉機技術領域，具體而言，本發明涉及一種立體視覺感知方法、裝置、設備、介質及無人收割機。

背景技術

收割機通過開發基于GNSS—RTK定位、電子信息等綜合技術實現無人駕駛導航系統，按照設定好的規劃路徑對田間的作物進行自動收割作業，通過無人駕駛系統收割農作物，既提升了收割作業的效率，又緩解了駕駛人員勞動力緊缺問題，促進了農業生產力的發展，是高端農業裝備發展和精細化智能農業發展的重要方向。收割機在收割過程中，由于收割機處于在導航路徑規劃基礎上行進狀態，對田間的行駛過程中的狀態和障礙物信息不能良好的感知，容易引發安全事故。因此，通過搭配開發立體視覺感知系統，實現前進方向的環境情況感知，為無人化作業的安全性、可靠性提供重要保障。

目前基于無人駕駛收割機環境感知視覺系統應用較少，國內外廠家多使用激光雷達搭配普通單目視覺攝像頭實現環境感知方案，激光雷達的優點是測量的準確性和精度，分辨率高，能夠生成三維點云圖像。但是在收割機無人駕駛應用領域，車輛振動、谷物揚塵等都對激光雷達測量進度有很大的影響，且激光雷達成本極高，系統產品化落地不成熟。由于激光雷達為外置設備，收割機收割過程中環境惡劣，設備容易受污染，維護困難且性能不夠穩定，無法識別特定的的目標障礙物信息。

毫米波雷達具有能夠實時檢測障礙物速度、距離等特點，在道路劃無人駕駛中是常用的感知傳感器，但是毫米波雷達在收割機無人駕駛上適用性差，因為收割機割臺具在過程中需要隨時升降，毫米波雷達反射易受干擾，安裝位置存在干涉。

單目視覺能夠實現一般深度學習算法進行障礙物感知學習，但是單目相機單獨進行障礙物距離感知測量準確率低，單獨開發使用難度大。

綜上所述，激光雷達傳感器、毫米波視覺傳感器和單目相機傳感器各具優勢，但是單目視覺傳感器和毫米波雷達傳感器需要搭配使用，無法單獨實現環境感知檢測功能，而激光雷達傳感器成本高難維護，且小麥收割工作活動環境復雜，易起麥土麥渣揚塵等干涉激光雷達反射波檢測功能。因此，現有技術中亟需一種可準確識別收割機行駛過程中的障礙物的方案。

發明內容

本發明所要解決的技術問題是提供了一種立體視覺感知方法、裝置、設備、介質及無人收割機，旨在解決上述至少一個技術問題。

本發明解決上述技術問題的技術方案如下：一種立體視覺感知方法，該方法包括：

獲取通過立體視覺傳感器獲取到的多張圖像，所述立體視覺傳感器設置在農用車的駕駛室輛頂部，所述立體視覺傳感器包括一個攝像頭和兩個深度攝像頭，通過所述攝像頭獲取的圖像為彩色圖像，通過兩個所述深度攝像頭獲取的兩張圖像分別為第一灰度圖和第二灰度圖；

根據所述第一灰度圖和所述第二灰度圖，確定所述第一灰度圖和所述第二灰度圖對應的三維深度圖信息；

根據所述彩色圖像，通過預先訓練的障礙物識別模型，識別出所述彩色圖像中的目標障礙物以及所述目標障礙物在所述彩色圖像上的目標框；

根據所述目標框和所述三維深度圖信息，確定所述目標障礙物的中心點在相機坐標系下的目標三維位置。