[發(fā)明專利]一種采摘機(jī)器人的重疊果實(shí)快速跟蹤識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510038828.0
• 申請(qǐng)日: 2015-01-26
• 公開（公告）號(hào): CN104636722B
• 公開（公告）日: 2018-02-27
• 發(fā)明（設(shè)計(jì)）人: 趙德安;沈甜;陳玉;賈偉寬
• 申請(qǐng)（專利權(quán)）人: 江蘇大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/54
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種采摘機(jī)器人的重疊果實(shí)快速跟蹤識(shí)別方法，其特征在于，包括以下步驟：

步驟1，重疊蘋果圖像采集：采用彩色CCD攝像頭連續(xù)采集圖像；

步驟2，目標(biāo)果實(shí)分割：對(duì)采集到的圖像進(jìn)行分割，去除背景，并采用數(shù)學(xué)形態(tài)學(xué)方法對(duì)分割后的圖像進(jìn)行完善，去除噪聲以及孔洞；

步驟3，確定重疊蘋果的圓心與半徑：通過(guò)尋找圓內(nèi)點(diǎn)到輪廓邊緣最小距離的極大值找到圓心的位置；圓心確定后，根據(jù)圓心到輪廓邊緣的距離確定半徑；

步驟4，提取目標(biāo)果實(shí)模板：根據(jù)求得的圓心與半徑再加上一定的預(yù)留值截取后續(xù)匹配的模板；

步驟5，機(jī)器人運(yùn)動(dòng)路徑預(yù)判：對(duì)機(jī)器人運(yùn)動(dòng)中連續(xù)采集的最新10幅圖像中果實(shí)的圓心的運(yùn)動(dòng)路徑進(jìn)行擬合并預(yù)判，根據(jù)預(yù)判的圓心以及果實(shí)的半徑截取重疊果實(shí)區(qū)域；

步驟6，匹配識(shí)別：采用快速歸一化互相關(guān)匹配對(duì)重疊果實(shí)進(jìn)行匹配識(shí)別。

2.根據(jù)權(quán)利要求1所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識(shí)別方法，其特征在于，所述步驟2中采用數(shù)學(xué)形態(tài)學(xué)方法對(duì)分割后的圖像進(jìn)行完善的過(guò)程為：

步驟2.1，用半徑為一個(gè)像素的圓盤形結(jié)構(gòu)元素對(duì)圖像進(jìn)行膨脹運(yùn)算，擴(kuò)充邊界點(diǎn)，填補(bǔ)部分孔洞；

步驟2.2，用floodfill算法進(jìn)行孔洞填充，填補(bǔ)花萼部分的缺孔，之后求得圖像的最大連通區(qū)域，將孤立的毛刺去除；

步驟2.3，對(duì)圖像進(jìn)行腐蝕運(yùn)算，消除邊界部分的噪聲。

3.根據(jù)權(quán)利要求1所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識(shí)別方法，其特征在于，所述步驟3具體步驟為：

步驟3.1，確定圓心的步驟：定義四個(gè)掃描方向A(x⁺,y⁺)、B(x^-,y⁺)、C(x^-,y^-)、D(x⁺,y^-)，在A方向，以從左往右，從上到下的方式進(jìn)行掃描；在B方向，以從右往左，從上到下的方式進(jìn)行掃描；在C方向，以從右往左，從下到上的方式進(jìn)行掃描；在D方向，以從左往右，從下到上的方式進(jìn)行掃描；

步驟3.2，確定半徑的步驟：上述求出重疊蘋果的圓心A(a_x,a_y)、B(b_x,b_y)；再求出經(jīng)過(guò)圓心A、B的直線方程y；求出該直線與果實(shí)輪廓的交點(diǎn)C(c_x,c_y)、D(d_x,d_y)；半徑

4.根據(jù)權(quán)利要求3所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識(shí)別方法，其特征在于，所述步驟5的具體處理過(guò)程如下：

步驟5.1，根據(jù)所述步驟3.1確定的前9幅連續(xù)采集的圖像中重疊果實(shí)兩個(gè)圓心的位置，對(duì)兩個(gè)圓心的中點(diǎn)進(jìn)行多項(xiàng)式擬合，擬合出機(jī)器人運(yùn)動(dòng)的路徑，再結(jié)合機(jī)器人運(yùn)動(dòng)速度以及采樣時(shí)間進(jìn)行預(yù)判，估計(jì)出下一幀圖像中圓心中點(diǎn)的位置；

步驟5.2，根據(jù)所述步驟3.2確定出半徑，求出兩個(gè)果實(shí)半徑的最大值r_max，以步驟5.1預(yù)判的兩個(gè)圓心的中點(diǎn)為中心，截取邊長(zhǎng)為4*r_max的正方形作為后續(xù)圖像處理的區(qū)域。

5.根據(jù)權(quán)利要求1所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識(shí)別方法，其特征在于，所述步驟6中歸一化互相關(guān)匹配的算法簡(jiǎn)化為：

式中，I為待匹配圖像,像素為m×n；T為模板圖像,像素為m×n；(x,y)為子圖I_x,y的左上角在圖像I中的坐標(biāo)；(u,γ)為像素在模板中的坐標(biāo)；為子圖I_x,y的像素平均值。