[發(fā)明專利]一種基于雙目空間定位和智能分割的果實產(chǎn)量估算方法

在審

• 申請?zhí)枺?/td>: 202011109204.0
• 申請日: 2020-10-16
• 公開（公告）號: CN112233121A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設計）人: 史云;李會賓;吳文斌;段玉林;張保輝;趙立成
• 申請（專利權）人: 中國農(nóng)業(yè)科學院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/70
• 代理公司: 北京山允知識產(chǎn)權代理事務所(特殊普通合伙) 11741
• 代理人: 胡冰;宋少華

本發(fā)明提出一種基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，包括：S1，將雙目相機、位姿采集裝置和定位裝置安裝在一起，相互進行位置標定，在果園中按照設定的路徑，同步采集圖像、位姿信息和物體姿態(tài)信息；S2，通過采集的圖像、位姿信息和位置信息，開始雙目空間定位，構建出整個果園場景中所有事物的坐標，形成完整的果園場景；S3，分割圖像中的果實；S4，記錄圖像中已識別的果實像素投影到三維場景的位置，統(tǒng)計果實數(shù)量。本發(fā)明的方法能夠在密植果園的場景內(nèi)很好的估計果實產(chǎn)量。

技術領域

本發(fā)明涉及機器人技術領域，更具體地，涉及一種基于視覺和激光測距的果實定位方法。

背景技術

水果產(chǎn)量估算是果園管理中的一項重要工作，精確的產(chǎn)量估計有助于種植者提高水果質(zhì)量，并能夠更好地決定疏果的強度和收獲勞動力的規(guī)模，以此來降低運營成本。這也有利于包裝行業(yè)，因為管理者可以使用評估結果來優(yōu)化包裝和存儲的容量規(guī)劃。同時提前預知果園的產(chǎn)量可以幫助農(nóng)民提前規(guī)劃水果預售訂單，輔助農(nóng)民獲取良好的收益。目前基于人工采樣的產(chǎn)量估計是耗時、勞力密集且不準確的；單一通過檢測水果的方法，可能會造成部分水果的重復檢測，致使產(chǎn)量估算結果存在較大誤差。

現(xiàn)有技術包括，論文《柑橘植株冠層營養(yǎng)及花量、產(chǎn)量的近地遙感估測研究》提供了一種基于無人機遙感的柑橘植株產(chǎn)量估測方法。該方法利用八旋翼無人機搭載的多光譜成像儀，分別在花芽生理分化期、休眠期和盛花期采集植株冠層光譜遙感信息，同時采集冠層葉片進行營養(yǎng)元素含量的測定，并調(diào)查統(tǒng)計試驗區(qū)域單株的花量和產(chǎn)量。運用光譜遙感圖像處理和數(shù)理統(tǒng)計分析等技術，分別以植被指數(shù)、原始光譜為自變量，建立單株產(chǎn)量的PLS、PCR、LS-SVM估測模型進行估產(chǎn)研究，最終確定單株產(chǎn)量估測的最佳時期仍是休眠期，以冠層植被指數(shù)為自變量所建的LS-SVM模型的預測效果最優(yōu)。該技術方案利用冠層植被指數(shù)為自變量所建的LS-SVM模型，容易受到大氣、環(huán)境光照、溫度的影響，極易造成估產(chǎn)發(fā)生較大的誤差，同時該方法利用多光譜相機作為主要估產(chǎn)傳感器，也會造成過估產(chǎn)成本較高。

論文“Automated Crop Yield Estimation for Apple Orchards”提供了一種果園機器人的視覺導航方法。該方法首先構建了一套GPS定位和雙目相機相融合的系統(tǒng)，該算法使用首先讀取系統(tǒng)采集到的彩色圖像，去除失真。然后，它利用視覺線索來檢測圖像中紅色或綠色蘋果的區(qū)域。最后，利用形態(tài)學方法將蘋果區(qū)域轉化為圖像中的蘋果計數(shù)。該技術方案雖然利用雙目相機和人工燈光輔助在晚上能檢測出紅綠蘋果，但是果實檢測能力低，對于相同行兩側相同的水果也存在重復檢測的現(xiàn)象，同時也對遮擋的水果檢測能力不足，這些因素最終會給估產(chǎn)帶來較大偏差。

發(fā)明內(nèi)容

本發(fā)明針對在密植果園的場景，出現(xiàn)果實產(chǎn)量無法被較好估計的問題，提供了一種基于雙目空間定位和智能分割的果實產(chǎn)量估算方法。本發(fā)明保證了計算機、視覺傳感器和定位傳感器的數(shù)據(jù)相互融合，實現(xiàn)在果園這種半結構化環(huán)境下，自主完成果實估產(chǎn)作業(yè)。

為此，本發(fā)明提出一種基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，包括：S1，將雙目相機、位姿采集裝置和定位裝置安裝在一起，相互進行位置標定，在果園中按照設定的路徑，同步采集圖像、位姿信息和物體姿態(tài)信息；S2，通過采集的圖像、位姿信息和位置信息，開始雙目空間定位，構建出整個果園場景中所有事物的坐標，形成完整的果園場景；S3，分割圖像中的果實；S4，記錄圖像中已識別的果實像素投影到三維場景的位置，統(tǒng)計果實數(shù)量。

本發(fā)明的方法能夠自動、快速和準確的進行產(chǎn)量估計。該方法中利用了雙目相機、IMU和GPS數(shù)據(jù)，集成到一個移動平臺上，實際作為果實圖像數(shù)據(jù)采集的平臺。采用雙目相機進行圖像采集，使用IMU和GPS數(shù)據(jù)融合，實現(xiàn)采集坐標的記錄，并通過slam技術實現(xiàn)對果園的三維重建工作，通過深度學習實時識別圖像中的果實，并且自動的計算果實在三維環(huán)境中的坐標和范圍。本發(fā)明的方法也可以通過掃描每行果樹的兩側，將相同的果實進行去重復操作，以保證了系統(tǒng)估計的準確性。該視覺方案，經(jīng)濟有效且成本較低，也符合現(xiàn)在智慧農(nóng)業(yè)發(fā)展的需要。