[發明專利]基于數字雙胞胎的采摘方法及云采摘機器人系統

有效

• 申請號: 202111409214.0
• 申請日: 2021-11-25
• 公開（公告）號: CN114080905B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 晏毓;王睿遠
• 申請（專利權）人: 杭州喬戈里科技有限公司
• 主分類號: A01D46/30
• 分類號: A01D46/30;B25J9/16;B25J11/00
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 謝君

1.一種基于數字雙胞胎的采摘方法，其特征在于，所述方法包括：

云服務器根據采摘機器人在種植園現場巡航反饋的包括植株、障礙物的環境信息構建基于經緯度的種植園環境數字孿生體；

云服務器在構建種植園環境數字孿生體的同時，根據深度神經網絡對采集的圖像信息中的果蔬進行識別，結合圖像信息中的點云數據，獲取果蔬坐標與果蔬形狀信息，并在種植園環境數字孿生體中標注果蔬三維信息，完成對果蔬目標的一次定位；

云服務器根據采摘機器人實時反饋的信息生成采摘機器人數字孿生體，并通過導航裝置信息在種植園環境數字孿生體中進行實時映射；

操作人員根據云服務器呈現的種植園環境數字孿生體和采摘機器人數字孿生體的可視化信息，遠程控制采摘機器人移動至采摘起始位置啟動采摘任務；

采摘機器人根據種植園環境數字孿生體中的果蔬信息，以采摘起始位置為路徑起始點與終止點，生成覆蓋所有果蔬目標的行走路徑并移動進行采摘；

云服務器根據采摘機器人移動過程中實時反饋的包括植株、障礙物的環境信息同步修正種植園環境數字孿生體；

云服務器根據采摘機器人在采摘目標位置反饋的信息對采摘目標進行二次定位，并驅動采摘機器人完成對采摘目標的采摘動作；

對采摘目標進行二次定位的方法包括：

采摘機器人按照行走路徑進行自動采摘任務，根據種植園環境數字孿生體中的果蔬信息，結合自身的經緯度坐標，查找距離最近的果蔬位置進行采摘；

采摘機器人移動至距離最近的果蔬采摘目標處，根據種植園數字孿生體中該果蔬的坐標信息，驅使機械臂移動至采摘目標位置下方，在機械臂移動過程中，利用位于采摘機器人采摘裝置上的第一相機采集該采摘目標果蔬附近環境的信息，云服務器對采集信息中采摘目標果蔬位置進行多次判別，通過對判別結果取平均值完成對采摘目標的二次定位；

所述構建基于經緯度的種植園環境數字孿生體的方法包括：

操作人員實地勘探種植園地形環境，確定所有可行道路，通過導航裝置在導航地圖中規劃所有可行道路的巡航線路；

獲取行進路線后，采摘機器人在導航裝置的引導下，采摘機器人的移動AGV小車根據地圖信息進行巡航，同時開啟第二相機、第三相機、第四相機、第五相機、第六相機和第七相機采集種植園包括植株、障礙物的環境的點云信息；

同一時刻采集到的點云信息與導航裝置獲取的經緯度信息，通過通訊裝置實時傳輸到云服務器；

云服務器在接收到種植園環境的點云信息后，通過三維重建算法完成種植園三維模型的建圖任務，結合導航裝置生成的經緯度信息，完成基于經緯度的種植園包括植株、障礙物的環境的數字孿生體的構建。

2.根據權利要求1所述的基于數字雙胞胎的采摘方法，其特征在于，所述采摘機器人在所述種植園環境數字孿生體中實時映射的方法包括：

采摘機器人在運行過程中，控制系統通過串口通信獲取采摘機器人的六自由度機械臂的實時位姿，并通過通訊模塊實時反饋六自由度機械臂的位姿信息到云服務器；

云服務器根據采摘機器人實時的六自由度機械臂的位姿信息，結合采摘機器人各部分的安裝參數，生成采摘機器人的數字孿生體；

云服務器根據采摘機器人導航裝置獲取的實時經緯度信息與采摘機器人實時方向信息，通過經緯度將采摘機器人數字孿生體與基于經緯度的種植園環境的數字孿生體融合，并基于實時方向信息確定采摘機器人的行進方向，實現采摘機器人數字孿生體在基于經緯度的種植園環境的數字孿生體中的實時映射。

3.根據權利要求1所述的基于數字雙胞胎的采摘方法，其特征在于，動態修正基于經緯度的種植園環境數字孿生體的方法包括：

采摘機器人移動過程中，第二相機、第三相機、第四相機、第五相機、第六相機和第七相機分別采集采摘機器人移動AGV小車周圍的點云信息與圖像信息，結合導航裝置信息，通過通訊裝置傳送至云服務器；

云服務器通過采集的點云信息以及導航裝置信息，基于經緯度提取當前位置對應的數字孿生體中的點云信息，通過關鍵點匹配算法，將新采集的點云信息與孿生體中的點云信息進行匹配，對已構建的基于經緯度的種植園環境數字孿生體模型進行實時地修補，細化模型的粒度以不斷動態修正基于經緯度的種植園環境數字孿生體。