[發(fā)明專利]一種采摘機(jī)器人的重疊果實快速跟蹤識別方法

有效

• 申請?zhí)枺?/td>: 201510038828.0
• 申請日: 2015-01-26
• 公開（公告）號: CN104636722B
• 公開（公告）日: 2018-02-27
• 發(fā)明（設(shè)計）人: 趙德安;沈甜;陳玉;賈偉寬
• 申請（專利權(quán)）人: 江蘇大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明屬于農(nóng)業(yè)機(jī)械領(lǐng)域，涉及果蔬采摘機(jī)器人的圖像識別方法，特別是對蘋果等類球狀重疊果實的快速跟蹤識別方法。

背景技術(shù)

自1983年第1臺西紅柿采摘機(jī)器人在美國誕生以來，采摘機(jī)器人的研究開發(fā)歷經(jīng)30多年，各國相繼立項研究各類蔬果采摘智能機(jī)器人。然而，因為識別率和采摘率不高等問題，采摘機(jī)器人離實用化和商品化還有一定的距離，因此，提高采摘機(jī)器人的采摘效率，增強(qiáng)采摘機(jī)器人的實用性能是當(dāng)前研究的關(guān)鍵。

果實的識別和定位是果實采摘機(jī)器人的首要任務(wù)和設(shè)計難點，識別和定位的準(zhǔn)確性關(guān)系到采摘機(jī)器人的工作效率。國內(nèi)外學(xué)者對于重疊果實進(jìn)行了大量的研究，并取得了一些初步的成果。項榮等(2012)提出了一種基于邊緣曲率的方法識別重疊番茄，對于輕微遮擋的重疊番茄的識別正確率為90.9％。宋懷波等(2013)在K-means聚類分割的基礎(chǔ)上，采用基于凸殼的方法分割重疊蘋果，經(jīng)實驗證明，該方法得到的蘋果目標(biāo)重合度為85.08％，平均定位誤差為14.15％。Xu Yongwei等(2013)采用支持向量機(jī)的HOG算子識別重疊的草莓，其識別成功的準(zhǔn)確率為87％。然而，這些研究都是針對靜態(tài)條件下的，靜態(tài)識別的方法并不能完全適用于采摘機(jī)器人在運(yùn)動過程的動態(tài)采摘。呂繼東等(2014)對動態(tài)果實的識別進(jìn)行了初步研究，實驗證明利用前后圖像的相關(guān)性能夠有效減少圖像處理的時間，然而對于重疊果實的動態(tài)跟蹤識別研究較少。

發(fā)明內(nèi)容

本發(fā)明的目的是：提供一種針對蘋果等類球狀重疊果實的快速跟蹤識別方法，解決由于果實自然生長導(dǎo)致重疊而影響機(jī)器人跟蹤識別的問題。其方法簡單，通用性好，能夠準(zhǔn)確定位出重疊球狀果實并提高機(jī)器人采摘的速度。

本發(fā)明采摘機(jī)器人重疊果實快速跟蹤識別方法的技術(shù)方案包括以下步驟：

一種采摘機(jī)器人的重疊果實快速跟蹤識別方法，包括以下步驟：

步驟1，重疊蘋果圖像采集：采用彩色CCD攝像頭連續(xù)采集圖像；

步驟2，目標(biāo)果實分割：對采集到的圖像進(jìn)行分割，去除背景，并采用數(shù)學(xué)形態(tài)學(xué)方法對分割后的圖像進(jìn)行完善，去除噪聲以及孔洞；

步驟3，確定重疊蘋果的圓心與半徑：通過尋找圓內(nèi)點到輪廓邊緣最小距離的極大值找到圓心的位置；圓心確定后，根據(jù)圓心到輪廓邊緣的距離確定半徑；

步驟4，提取目標(biāo)果實模板：根據(jù)求得的圓心與半徑再加上一定的預(yù)留值截取后續(xù)匹配的模板；

步驟5，機(jī)器人運(yùn)動路徑預(yù)判：對機(jī)器人運(yùn)動中連續(xù)采集的最新10幅圖像中果實的圓心的運(yùn)動路徑進(jìn)行擬合并預(yù)判，根據(jù)預(yù)判的圓心以及果實的半徑截取重疊果實區(qū)域；

步驟6，匹配識別：采用快速歸一化互相關(guān)匹配對重疊果實進(jìn)行匹配識別。

進(jìn)一步，所述步驟2中采用數(shù)學(xué)形態(tài)學(xué)方法對分割后的圖像進(jìn)行完善的過程為：

步驟2.1，用半徑為一個像素的圓盤形結(jié)構(gòu)元素對圖像進(jìn)行膨脹運(yùn)算，擴(kuò)充邊界點，填補(bǔ)部分孔洞；

步驟2.2，用floodfill算法進(jìn)行孔洞填充，填補(bǔ)花萼部分的缺孔，之后求得圖像的最大連通區(qū)域，將孤立的毛刺去除；

步驟2.3，對圖像進(jìn)行腐蝕運(yùn)算，消除邊界部分的噪聲。

進(jìn)一步，所述步驟3具體為：

步驟3.1，確定圓心的步驟：定義四個掃描方向A(x⁺,y⁺)、B(x^-,y⁺)、C(x^-,y^-)、D(x⁺,y^-)，在A方向，以從左往右，從上到下的方式進(jìn)行掃描；在B方向，以從右往左，從上到下的方式進(jìn)行掃描；在C方向，以從右往左，從下到上的方式進(jìn)行掃描；在D方向，以從左往右，從下到上的方式進(jìn)行掃描；

步驟3.2，確定半徑的步驟：上述求出重疊蘋果的圓心A(a_x,a_y)、B(b_x,b_y)；再求出經(jīng)過圓心A、B的直線方程y；求出該直線與果實輪廓的交點C(c_x,c_y)、D(d_x,d_y)；半徑

進(jìn)一步，所述步驟5的具體處理過程如下：

步驟5.1，根據(jù)所述步驟3.1確定的前9幅連續(xù)采集的圖像中重疊果實兩個圓心的位置，對兩個圓心的中點進(jìn)行多項式擬合，擬合出機(jī)器人運(yùn)動的路徑，再結(jié)合機(jī)器人運(yùn)動速度以及采樣時間進(jìn)行預(yù)判，估計出下一幀圖像中圓心中點的位置；