[發(fā)明專利]一種基于雙目空間定位和智能分割的果實產(chǎn)量估算方法

在審

• 申請?zhí)枺?/td>: 202011109204.0
• 申請日: 2020-10-16
• 公開（公告）號: CN112233121A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設計）人: 史云;李會賓;吳文斌;段玉林;張保輝;趙立成
• 申請（專利權）人: 中國農(nóng)業(yè)科學院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/70
• 代理公司: 北京山允知識產(chǎn)權代理事務所(特殊普通合伙) 11741
• 代理人: 胡冰;宋少華

1.一種基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，包括：

S1，將雙目相機、位姿采集裝置和定位裝置安裝在一起，相互進行位置標定，在果園中按照設定的路徑，同步采集圖像、位姿信息和物體姿態(tài)信息；

S2，通過采集的圖像、位姿信息和位置信息，開始雙目空間定位，構建出整個果園場景中所有事物的坐標，形成完整的果園場景；

S3，分割圖像中的果實；

S4，記錄圖像中已識別的果實像素投影到三維場景的位置，統(tǒng)計果實數(shù)量。

2.根據(jù)權利要求1所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，還包括：

在步驟S1中，獲取的雙目圖像信息包括左圖像imgL和右圖像imgR，RTK-GPS的維度lat和精度lon和雙目相機的6軸姿態(tài)信息dirt。

3.根據(jù)權利要求2所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，步驟S24包括：

步驟S2中包括：

S21，矯正雙目圖像；

S22，通過立體匹配算法計算雙目視差圖，獲得視差圖img_disp；

S23，根據(jù)所述視差圖img_disp獲得場景中每個實物點的三維點云；

S24，根據(jù)相機的位姿，將所述三維點云轉(zhuǎn)換到全局坐標系中。

4.根據(jù)權利要求3所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，步驟S24包括：

1)從雙目相機的初始位置開始，位姿采集裝置和雙目相機進行剛性連接，實時輸出相機在x,y和z方向的旋轉(zhuǎn)角度；

2)和定位裝置的定位信息和雙目相機也進行剛性連接，實時輸出雙目相機的位置變化；

3)根據(jù)雙目相機的角度和位置變化，由現(xiàn)在的相對三維坐標計算出雙目相機在全局坐標系的坐標。

5.根據(jù)權利要求1所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，

在步驟S3中，將采集圖像中的果實進行語義級別的分割，獲取圖像中各個果實的像素集合。

6.根據(jù)權利要求1所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，步驟S4包括：

S41，將果實中的像素匹配到三維的環(huán)境中，獲取果實像素在三維場景中的全局坐標；

S42，根據(jù)果實像素的三維全局坐標集合計算果實的三維全局坐標；

S43，統(tǒng)計果實數(shù)量。

7.根據(jù)權利要求6所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，還包括：

S5，保留所有果實在三維場景中的位置，并將相同或誤差允許范圍內(nèi)相同的位置進行濾除，保留一個有效的果實位置，篩選所有果實位置的數(shù)量。

8.根據(jù)權利要求7所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，步驟S51包括：

S51，通過在果實大小范圍內(nèi)，鄰域搜尋的方法來判定是否會有坐標重疊，來確定是否存在重復的三維全局坐標；

S52，開始進行去重復操作，來篩選所有果實位置的數(shù)量。

9.根據(jù)權利要求8所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，

在步驟S51中，對檢測的所有果實的三維全局坐標構建kd-tree結構，來判定是否有坐標重疊。

10.根據(jù)權利要求9所述的基于雙目空間定位和智能分割的果實產(chǎn)量估算方法，其特征在于，步驟S52包括：

1)對逐個坐標進行鄰域搜索，搜索半徑為該坐標對應的半徑R，觀察半徑R的范圍內(nèi)會不會存在三維全局坐標，若存在，則記錄全局坐標的編號，判定為重復果實的坐標，進行濾除操作；

2)全部坐標遍歷后，篩選出所有無重復的三維全局坐標，然后判定三維全局坐標的數(shù)量為全部果實的產(chǎn)量。