[發明專利]果實位姿計算方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010220613.1
• 申請日: 2020-03-25
• 公開（公告）號: CN111445523A
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 柴秀娟;夏雪;張文蓉;周國民
• 申請（專利權）人: 中國農業科學院農業信息研究所
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04
• 代理公司: 泰和泰律師事務所 51219
• 代理人: 范相玉

1.一種果實位姿計算方法，其特征在于，所述方法包括：

獲取待測果實的RGB-D圖像數據；

將所述RGB-D圖像數據輸入到目標果實模型得到與所述待檢測果實對應的果柄點和/或果萼點的三維坐標；所述目標果實模型是根據不同角度的樣本果實RGB-D圖像，以及每個角度標注的果柄點和/或果萼點的三維坐標訓練得到的；

計算所述待檢測果實對應的果柄點和/或果萼點的三維坐標，與標準果實位姿數據之間的距離最小時的空間變換參數；

根據所述待檢測果實對應的果柄點和/或果萼點的三維坐標，以及所述空間變換參數確定所述待測果實的位姿數據。

2.根據權利要求1所述的果實位姿計算方法，其特征在于，將所述RGB-D圖像數據輸入到目標果實模型得到與所述待檢測果實對應的果柄點和/或果萼點的三維坐標之前，所述方法還包括：

獲取多幀樣本果實RGB-D圖像；

根據所述多幀樣本果實RGB-D圖像構建樣本果實的三維形態；

繞所述果實的三維形態的X、Y、Z坐標軸旋轉獲取每個角度的樣本果實RGB-D圖像；

標注每個角度的樣本果實RGB-D圖像中果柄點和/或果萼點的三維坐標。

3.根據權利要求2所述的果實位姿計算方法，其特征在于，所述方法還包括：

通過構建深度卷積神經網絡模型，將不同角度的樣本果實RGB-D圖像，以及每個角度標注的果柄點和/或果萼點的三維坐標作為輸入，訓練所述目標果實模型。

4.根據權利要求2所述的果實位姿計算方法，其特征在于，所述根據所述多幀樣本果實RGB-D圖像構建樣本果實的三維形態，包括：

計算所有幀樣本果實RGB-D圖像中每個體素的TSDF值及權重；

對所有幀樣本果實RGB-D圖像中每個體素的TSDF值及權重進行融合，得到融合點云幀；

通過等值面提取算法對所述融合點云幀進行三角面計算，構建所述樣本果實的三維形態。

5.根據權利要求1所述的果實位姿計算方法，其特征在于，計算所述待檢測果實對應的果柄點和/或果萼點的三維坐標，與標準果實位姿數據之間的距離最小時的空間變換參數，包括：

設待測果實的位姿數據為目標點云FR_dst，且作為基準的標準果實位姿數據為源點云FR_src；所述目標點云FR_dst中包含所述待檢測果實對應的果柄點或果萼點的三維坐標；

通過求解旋轉矩陣R和位移向量t變換得到FR_trans＝R*FR_src+t，使得變換之后的源點云FR_trans與目標點云FR_dst的距離最小，所述R為所述空間變換參數。

6.一種果實位姿計算裝置方法，其特征在于，所述裝置包括：

獲取模塊，用于獲取待測果實的RGB-D圖像數據；

所述獲取模塊，還用于將所述RGB-D圖像數據輸入到目標果實模型得到與所述待檢測果實對應的果柄點和/或果萼點的三維坐標；所述目標果實模型是根據不同角度的樣本果實RGB-D圖像，以及每個角度標注的果柄點和/或果萼點的三維坐標訓練得到的；

計算模塊，用于計算所述待檢測果實對應的果柄點和/或果萼點的三維坐標，與標準果實位姿數據之間的距離最小時的空間變換參數；

確定模塊，用于根據所述待檢測果實對應的果柄點和/或果萼點的三維坐標，以及所述空間變換參數確定所述待測果實的位姿數據。

7.根據權利要求6所述的果實位姿計算裝置，其特征在于，所述裝置還包括：

所述獲取模塊，還用于獲取多幀樣本果實RGB-D圖像；

構建模塊，用于根據所述多幀樣本果實RGB-D圖像構建樣本果實的三維形態；

所述獲取模塊，還用于繞所述果實的三維形態的X、Y、Z坐標軸旋轉獲取每個角度的樣本果實RGB-D圖像；

標注模塊，用于標注每個角度的樣本果實RGB-D圖像中果柄點和/或果萼點的三維坐標。