[發(fā)明專利]一種類球形果實的采摘順序動態(tài)規(guī)劃方法有效
| 申請?zhí)枺?/td> | 202011380345.6 | 申請日： | 2020-12-01 |
| 公開（公告）號： | CN112369208B | 公開（公告）日： | 2021-07-13 |
| 發(fā)明（設(shè)計）人： | 董永祥;王東;連捷;邱超超;潘青慧 | 申請（專利權(quán)）人： | 大連理工大學(xué) |
| 主分類號： | A01D46/30 | 分類號： | A01D46/30 |
| 代理公司： | 大連理工大學(xué)專利中心 21200 | 代理人： | 陳玲玉 |
| 地址： | 116024 遼*** | 國省代碼： | 遼寧;21 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 種類 球形 果實 采摘 順序 動態(tài) 規(guī)劃 方法 | ||
1.一種類球形果實的采摘順序動態(tài)規(guī)劃方法，其特征在于，所述采摘順序規(guī)劃方法應(yīng)用于采摘類球形果實的采摘機(jī)器人；具體包括步驟如下：
第一步，在第一感知點進(jìn)行感知；
采摘機(jī)器人到達(dá)采摘位置后，此時采摘機(jī)械臂處于初始位置，雙目相機(jī)在第一感知點即初始位置進(jìn)行環(huán)境感知，雙目相機(jī)將采集到的環(huán)境RGBD圖像通過ROS進(jìn)行發(fā)布，利用深度學(xué)習(xí)yolov3算法對雙目相機(jī)采集到的RGBD圖像進(jìn)行訂閱并處理；使用yolov3算法對環(huán)境RGBD圖像進(jìn)行識別，將識別到的果實i的中心點三維位置坐標(biāo)(xi,yi,zi)通過ROS進(jìn)行發(fā)布；將所有識別到的果實位置三維坐標(biāo)組成一個果實位置的集合Va{a,b,c,…,n}，將采摘機(jī)械臂需要進(jìn)行感知的所有感知點坐標(biāo)組成一個感知點集合Vs{as，bs，cs…，ns}，則機(jī)械臂末端需要移動到的所有位置的三維坐標(biāo)集合V＝Va+Vs；
第二步，檢測果實重疊情況；
提取果實位置坐標(biāo)的x-y平面位置信息，所述x-y平面即垂直于雙目相機(jī)法線，雙目相機(jī)拍攝的RGB圖像對應(yīng)的平面；提取后的果實i中心點平面坐標(biāo)為(xi,yi)，所有檢測到的果實位置組成果實位置的二維位置集合Vb{ab,bb,cb,…,nb}；檢測集合Vb中所有果實在x-y平面的重疊情況，即依次判斷Vb中所有果實兩兩之間的距離lij，判斷依據(jù)如式(3)所示：
式中(xi，yi)和(xj,yj)分別為i果實的中心點和j果實的中心點在x-y平面的坐標(biāo)；r為較大的成熟果實半徑；
根據(jù)式(3)判斷兩個果實在x-y平面的重疊情況，當(dāng)兩個果實間的距離lij≤2.5r，則判定兩個果實發(fā)生重疊；根據(jù)式(3)，對集合Vb中所有的果實位置進(jìn)行兩兩計算，判斷所有果實之間的重疊關(guān)系，并記錄所有互為遮擋的果實組組成集合Vc；
第三步，果實間權(quán)重的計算及動態(tài)更新；
令權(quán)重cij等于i點到j(luò)點的距離，如式(4)所示：
其中i，j為集合V中的點，根據(jù)式(4)計算集合V中所有點兩兩之間的權(quán)重；
權(quán)重的計算：根據(jù)式(4)計算第一步中檢測到的所有果實位置和感知點集合V中所有點兩兩之間的權(quán)重；
權(quán)重的動態(tài)更新：對在第二步中判定為重疊的果實集合Vc中所有互為遮擋的果實進(jìn)行權(quán)重更新；首先比較互為重疊的果實i和j的深度信息，如果zi-zj0，則i果實在j果實之前，令深度信息更大的果實即被遮擋果實j與集合V中其他位置點之間的權(quán)重為無窮大，與遮擋j果實的果實i之間的權(quán)重為0，如式(5 )所示：
當(dāng)遮擋果實i被采摘，則判定先前被遮擋果實j不再被遮擋，即式(3)不再成立，則更新j果實的權(quán)重，使j果實的權(quán)重值再次以式(4)計算得到；
除了遮擋果實的權(quán)重更新外，機(jī)械臂在新的感知位置感知到了新的果實后，也需要對集合V中所有點進(jìn)行權(quán)重更新；
第四步，采用動態(tài)收獲感知方法對采摘機(jī)器人采摘路徑進(jìn)行規(guī)劃；令位置集合Vm為除了點m之外的所有采摘點和感知點的集合，即Vm＝V-m；設(shè)采摘機(jī)械臂末端從初始位置s出發(fā)，令d(m,Vm)表示機(jī)械臂末端從采摘點m出發(fā)經(jīng)過位置集合Vm中各個采摘點僅且一次，最后回到初始位置s的最短路徑長度，則：
1)當(dāng)移動位置集合Vm為空集時，那么d(m,Vm)表示采摘機(jī)械臂只有一個需要運動到達(dá)的位置點，機(jī)械臂采摘完成后直接從m回到了初始位置s，此時d(m,Vm)＝cms(m≠s)；cms為m點和s點的之間權(quán)重；
2)當(dāng)移動位置集合Vm不為空，在Vm這個位置點集合中，嘗試對每一個位置點進(jìn)行求解，枚舉出所有的子路徑，并得出最優(yōu)解，依次求得子路徑、子路徑的子路徑的最優(yōu)解，直到集合Vm為空集，則問題轉(zhuǎn)化為1)，如式(6)所示：
d(m,V) =min(cmk+d(k,Vm-(k))) （ 6 ）
其中d(k,Vm-(k))為d(m,Vm)的子問題；cmk為m點和k點之間的權(quán)重；
通過1)和2)的不斷求解，對所有點依次迭代，求出所有路徑的權(quán)重之和，則權(quán)重之和最小的路徑即為所求的最短路徑；最終求得采摘機(jī)械臂末端走完集合V中所有點的最短路徑；
第五步，采摘機(jī)器人按照第四步 所求得的最短采摘路徑進(jìn)行采摘或感知，在每一次采摘或感知之后進(jìn)行判斷，如果存在剩余的果實或感知點，則采摘機(jī)器人再次進(jìn)行第二步，判斷果實重疊情況有無變化或有無新增的果實，如果有，則繼續(xù)依次執(zhí)行第三步-第五步；如果判斷沒有新增果實且果實重疊情況沒有發(fā)生變化，則繼續(xù)執(zhí)行第五步 ，直到判斷此區(qū)域沒有剩余的果實或感知點，則采摘機(jī)器人進(jìn)入下一采摘地點進(jìn)行采摘。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于大連理工大學(xué)，未經(jīng)大連理工大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011380345.6/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
