[發(fā)明專利]基于數(shù)字雙胞胎的采摘方法及云采摘機(jī)器人系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111409214.0
• 申請(qǐng)日: 2021-11-25
• 公開（公告）號(hào): CN114080905B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計(jì)）人: 晏毓;王睿遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 杭州喬戈里科技有限公司
• 主分類號(hào): A01D46/30
• 分類號(hào): A01D46/30;B25J9/16;B25J11/00
• 代理公司: 浙江永鼎律師事務(wù)所 33233
• 代理人: 謝君

本發(fā)明提供一種基于數(shù)字雙胞胎的采摘方法和云采摘機(jī)器人系統(tǒng)，通過云采摘機(jī)器人系統(tǒng)中的云服務(wù)器構(gòu)建種植園環(huán)境數(shù)字孿生體和采摘機(jī)器人數(shù)字孿生體，操作人員根據(jù)云服務(wù)器呈現(xiàn)的可視化信息遠(yuǎn)程控制采摘機(jī)器人進(jìn)行采摘作業(yè)。通過本發(fā)明的技術(shù)方案，基于數(shù)字雙胞胎技術(shù)將種植園采摘環(huán)境進(jìn)行虛擬重建，可通過云服務(wù)器遠(yuǎn)程、可視的方式完成采摘作業(yè)，在一個(gè)操作人員的情況下遠(yuǎn)程完成多個(gè)采摘任務(wù)，降低目前采摘機(jī)器人對(duì)現(xiàn)場(chǎng)操作人員的依賴。

技術(shù)領(lǐng)域

本發(fā)明涉及農(nóng)業(yè)采摘領(lǐng)域，尤其涉及一種基于數(shù)字雙胞胎的采摘方法及云采摘機(jī)器人系統(tǒng)。

背景技術(shù)

目前，采摘作業(yè)在農(nóng)業(yè)生產(chǎn)中，大量采用人工采摘的形式，這種方式采摘效率低下，人員勞動(dòng)強(qiáng)度大，對(duì)于大規(guī)模的種植園來說，采摘成本過高。近年來隨著我國(guó)農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)的調(diào)整及林果種植面積的不斷擴(kuò)大，勞動(dòng)力成本的日益上漲、人口老齡化等帶來的勞動(dòng)力不足等問題日益突出，急需一批自動(dòng)化、智能化的采摘設(shè)備來實(shí)現(xiàn)林果的采摘，以解放現(xiàn)有勞動(dòng)力、提高生產(chǎn)效率并降低生產(chǎn)成本。

基于這一現(xiàn)象，已經(jīng)有相當(dāng)多的研究聚焦于采摘機(jī)器人的研發(fā)上，重點(diǎn)針對(duì)采摘效率、采摘精度等方面，能夠完成一部分的采摘任務(wù)。然而，采摘機(jī)器人的操作仍需要較高的專業(yè)水平，并且采摘任務(wù)耗時(shí)較長(zhǎng)，對(duì)作業(yè)人員的勞動(dòng)時(shí)間要求高，也在一定程度上限制采摘機(jī)器人的應(yīng)用。因此，需要提供一種新的系統(tǒng)和方法，使一個(gè)操作人員可遠(yuǎn)程完成多個(gè)采摘任務(wù)，進(jìn)一步降低目前采摘機(jī)器人對(duì)現(xiàn)場(chǎng)操作人員的依賴。

發(fā)明內(nèi)容

本發(fā)明是鑒于以上技術(shù)問題所提出的，提供一種基于數(shù)字雙胞胎的采摘方法及云采摘機(jī)器人系統(tǒng)，在僅有一個(gè)操作人員的情況下，可遠(yuǎn)程完成多個(gè)采摘任務(wù)，實(shí)現(xiàn)遠(yuǎn)程、實(shí)時(shí)、直觀、高效的采摘作業(yè)。

根據(jù)本發(fā)明實(shí)施例的第一方面，提供了一種基于數(shù)字雙胞胎的采摘方法，該方法包括：

云服務(wù)器根據(jù)采摘機(jī)器人在種植園現(xiàn)場(chǎng)巡航反饋的包括植株、障礙物的環(huán)境信息構(gòu)建基于經(jīng)緯度的種植園環(huán)境數(shù)字孿生體；

云服務(wù)器在構(gòu)建種植園環(huán)境數(shù)字孿生體的同時(shí)，根據(jù)深度神經(jīng)網(wǎng)絡(luò)對(duì)采集的圖像信息中的果蔬進(jìn)行識(shí)別，結(jié)合圖像信息中的點(diǎn)云數(shù)據(jù)，獲取果蔬坐標(biāo)與果蔬形狀信息，并在種植園環(huán)境數(shù)字孿生體中標(biāo)注果蔬三維信息，完成對(duì)果蔬目標(biāo)的一次定位；

云服務(wù)器根據(jù)采摘機(jī)器人實(shí)時(shí)反饋的信息生成采摘機(jī)器人數(shù)字孿生體，并通過導(dǎo)航裝置信息在種植園環(huán)境數(shù)字孿生體中進(jìn)行實(shí)時(shí)映射；

操作人員根據(jù)云服務(wù)器呈現(xiàn)的種植園環(huán)境數(shù)字孿生體和采摘機(jī)器人數(shù)字孿生體的可視化信息，遠(yuǎn)程控制采摘機(jī)器人移動(dòng)至采摘起始位置啟動(dòng)采摘任務(wù)；

采摘機(jī)器人根據(jù)種植園環(huán)境數(shù)字孿生體中的果蔬信息，以采摘起始位置為路徑起始點(diǎn)與終止點(diǎn)，生成覆蓋所有果蔬目標(biāo)的行走路徑并移動(dòng)進(jìn)行采摘；

云服務(wù)器根據(jù)采摘機(jī)器人移動(dòng)過程中實(shí)時(shí)反饋的包括植株、障礙物的環(huán)境信息同步修正種植園環(huán)境數(shù)字孿生體；

云服務(wù)器根據(jù)采摘機(jī)器人在采摘目標(biāo)位置反饋的信息對(duì)采摘目標(biāo)進(jìn)行二次定位，并驅(qū)動(dòng)采摘機(jī)器人完成對(duì)采摘目標(biāo)的采摘?jiǎng)幼鳌?/p>

根據(jù)本發(fā)明實(shí)施例的第二方面，提供了一種如第一方面的基于數(shù)字雙胞胎的采摘方法，其中，對(duì)采摘目標(biāo)進(jìn)行二次定位的方法包括：

采摘機(jī)器人按照行走路徑進(jìn)行自動(dòng)采摘任務(wù)，根據(jù)種植園環(huán)境數(shù)字孿生體中的果蔬信息，結(jié)合自身的經(jīng)緯度坐標(biāo)，查找距離最近的果蔬位置進(jìn)行采摘；

采摘機(jī)器人移動(dòng)至距離最近的果蔬采摘目標(biāo)處，根據(jù)種植園數(shù)字孿生體中該果蔬的坐標(biāo)信息，驅(qū)使機(jī)械臂移動(dòng)至采摘目標(biāo)位置下方，在機(jī)械臂移動(dòng)過程中，利用位于采摘機(jī)器人采摘裝置上的第一相機(jī)采集該采摘目標(biāo)果蔬附近環(huán)境的信息，云服務(wù)器對(duì)采集信息中采摘目標(biāo)果蔬位置進(jìn)行多次判別，通過對(duì)判別結(jié)果取平均值完成對(duì)采摘目標(biāo)的二次定位。