[發明專利]一種建立果園中果樹冠層特征地圖的方法

有效

• 申請號: 201910456521.0
• 申請日: 2019-05-29
• 公開（公告）號: CN110298914B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 沈躍;盛晨航;劉慧;崔業民
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80;G06F18/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于RGB-D相機與IMU建立果樹冠層特征地圖的方法，其特征在于：所述方法包括以下步驟：

步驟1：采用基于RGB-D相機實時采集環境的彩色信息和深度信息，采用高頻率IMU測量角速度和線性加速度，對IMU數據進行積分，得到相機位姿的測量向量M；

步驟2：采用全卷積神經網絡FCN，實現像素級別端到端的語義分割，然后利用條件隨機場CRF優化語義分割結果，將果樹冠層彩色圖像和深度圖像轉換為點云數據；

步驟3：提取分割后彩色圖像果樹的ORB特征點，對相鄰兩幀圖像中的特征點配對，剔除兩幀圖像誤匹配的特征點，計算相機位姿的變換矩陣T，構建圖優化問題，融合RGB-D相機與IMU，優化相機位姿的變換矩陣T；

步驟4：根據步驟3得到的相機位姿變換矩陣T，對步驟2得到的關鍵幀的點云數據進行拼接，采用八叉樹建立果樹冠層特征地圖。

2.按照權利要求1所述的基于RGB-D相機與IMU建立果樹冠層特征地圖的方法，其特征在于：所述步驟1中，相機運動角度向量φ、平移向量ρ,相機位姿向量相機位姿測量向量M是一個6維的向量。

3.按照權利要求1所述的基于RGB-D相機與IMU建立果樹冠層特征地圖的方法，其特征在于：所述步驟2中彩色圖像經過全卷積神經網絡FCN后，每個像素具有類別標簽，以每個像素點作為節點，像素與像素間的聯系作為邊，就構成了一個條件隨機場CRF，通過觀測變量x來推測像素對應的類別標簽y，最大化條件概率函數

式中x_ij是單個像素點的觀測變量，y_ij是單個像素點的類別標簽，y_(i+1)j，y_(i-1)j，y_i(j+1)，y_i(j+1)是相鄰四個像素點的類別標簽，Z是歸一化因子。

4.按照權利要求1所述的基于RGB-D相機與IMU建立果樹冠層特征地圖的方法，其特征在于：所述步驟3中融合RGB-D相機與IMU，采用因子圖優化算法，通過最小化下面的函數，優化相機位姿的變換矩陣T和特征點的坐標P：

式中h是測量方程，F_i、G_j是有關ξ_j的雅克比矩陣。

5.按照權利要求1所述的基于RGB-D相機與IMU建立果樹冠層特征地圖的方法，其特征在于：所述步驟4中點云拼接是根據相機內參計算一對彩色圖像和深度圖像對應的點云，然后根據步驟3中得到的相機位姿T和特征點的坐標P，將深度信息轉換到世界坐標系下，構成點云地圖，然后使用八叉樹形式存儲地圖，先是用8個立體體元劃分整幅點云，若節點不為空，則該節點繼續劃分，直至體元內無點，判斷的是否繼續劃分的依據是葉節點被占用的概率，方程如下：

式中P(z_i)是葉節點被占用的概率，根據葉節點內的點云數據來計算P(z_i)；

八叉樹地圖生成后，通過搜索計算機器人周圍地圖網格的占用狀態L(n)，判斷節點是否可行，從而機器人可以規劃出可行路徑，實現自主導航，節點的占用概率值采用如下方程計算：

式中P(n)表示地圖中單個網格的占用概率值，通過對數運算轉換為該地圖網格占用狀態L(n)，當P(n)＞0.5時，L(n)＞0則該地圖網格可以通行，否則L(n)＝0該地圖網格不可通行。