[發明專利]一種果園鄰接重疊形態果實判別方法

有效

• 申請號: 201710504815.7
• 申請日: 2017-06-28
• 公開（公告）號: CN107437254B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 呂繼東;申根榮;徐黎明;趙海娟;馬正華;王帆
• 申請（專利權）人: 常州大學
• 主分類號: G06T7/155
• 分類號: G06T7/155;G06T7/187
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種果園鄰接重疊形態果實判別方法，包括：圖像采集：雙目視覺實時采集果實圖像；果實區域提取：提取左目圖像中的所有果實區域；連通區域標記：對左目圖像中果實區域進行框定標記；距離圖生成：對圖像中標記后的連通果實區域進行計算生成距離圖；橫縱投影圖生成：對圖像連通果實區域生成的距離圖進行橫向和縱向投影，獲取橫縱向投影圖；形態預判：基于橫縱向投影圖中的峰點個數預判疑似重疊形態果實；形態確認：基于疑似重疊形態果實區域的深度信息確認是否為鄰接重疊形態果實。該方法能夠判別果園圖像中的果實是否為鄰接重疊形態果實，為后續采用不同的方法來處理不同形態(單個分離、鄰接重疊、枝葉遮擋等)的果實提供依據。

技術領域

本發明涉及一種果園不同生長形態果實的判別方法，尤其是對鄰接重疊形態果實的判別。

背景技術

對于采摘機器人來說，由于自然工作環境非結構化的特點，存在很多影響果實精確識別的因素，其中果實鄰接重疊遮擋是主要因素之一。果實鄰接重疊遮擋就是從視覺傳感器圖像采集方向看去，兩個或多個果實相互接靠重合致使后方果實部分被前方果實所遮擋。它是果實常見的生長形態，該生長形態的果實識別方法與分離無遮擋形態果實以及其他生長形態果實都是不同的，所以在識別之前應對其形態進行判別確認，以便采用相應方法來實現鄰接重疊形態果實的精確識別。

發明內容

本發明的目的是：提供一種果園鄰接重疊形態果實的判別方法，使得果實采摘機器人能夠自動判別確認鄰接重疊形態的果實，為進一步對其精確識別定位奠定基礎。實現本發明的技術方案包括如下步驟：

(1)圖像采集步驟：基于雙目視覺傳感器實時采集果實圖像。

(2)果實區域提取步驟：首先基于圖像熵來判斷晴天采集圖像的光照條件并據此采用模糊邏輯對光照條件不同區域進行權重分配，通過產生隸屬函數且定義一組基于圖像熵大小的模糊邏輯規則進行不同區域的加權來針對性的提高圖像質量；而對于濕熱雨霧狀態下所采集果實圖像，則根據圖像退化機理采用馬爾科夫隨機場(MRF)模型的Retinex算法進行圖像增強，而后通過CLAHE算法進行恢復校正來提高圖像質量。接著采用基于相平衡模型的無監督多相圖像快速分割方法來對圖像質量提高后的果實圖像進行分割。為了去除分割噪聲、填充果實區域孔洞，還需進行小區域去除和孔洞填充操作，具體以8鄰域標記法對圖像中的連通區域進行標記并統計總數，將小于最大連通區域1/12的小區域去除；孔洞填充采用漫水填充算法實現。最后對圖像再進行二值化運算，最終提取出二值化的果實區域。

(3)連通區域框定步驟：該步驟首先計算步驟(2)中保留的不同標記連通區域水平垂直方向上像素數的最大值，然后在不同標記連通區域以像素數最多的行列為長度和寬度畫矩形，從而實現連通區域的最小水平框定。

(4)距離圖生成步驟：以圓形結構元對框定區域二值化圖像進行連續腐蝕操作；在腐蝕操作過程中，根據各個前景像素點到前景中心骨架像素點的距離，用歐氏距離公式計算出各個像素點的歐式距離值，設置為不同的灰度值，多次進行腐蝕操作，直到結構元與前景像素的交集為空，由此完成距離圖的生成。

(5)橫縱投影圖生成步驟：利用距離圖像的灰度值由外向內遞增，在果實區域的中心達到最大的特點進行橫向和縱向投影，獲取橫縱向投影圖；橫向投影圖，是將每一行像素灰度累加值進行投影，投影值為縱坐標，圖像像素行數為橫坐標。縱向投影圖，是將每一列像素灰度值累加進行投影，投影值為縱坐標，圖像像素列數為橫坐標。

(6)形態預判步驟：先對橫縱向投影圖中曲線采用移動平均法進行平滑，而后采用局部極值法提取橫縱向投影圖中的各個峰點，并要求峰值的最小高度不低于200；提取出橫縱向投影圖中的各個峰點數后，以最大峰點個數為依據，來預判該果實區域是否為重疊形態果實。

(7)形態確認步驟：根據左目圖像疑似重疊形態果實區域來配準右目圖像相應區域，而后獲取該區域的深度信息，基于深度信息來最終確認該區域重疊形態果實是否為鄰接重疊果實。

本發明的有益效果：