[發明專利]一種激光掃描與機器視覺相結合的果實識別定位方法

無效

• 申請號: 201310505701.6
• 申請日: 2013-10-24
• 公開（公告）號: CN103544493A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 劉繼展;賈允毅;席寧
• 申請（專利權）人: 江蘇大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G01B11/00
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 盧霞

所屬技術領域

????本發明涉及農業機器人領域，特別涉及一種激光掃描與機器視覺結合的果實識別定位方法。

背景技術

在機器人采摘中，果實的識別與定位是關鍵技術難題。目前普遍利用機器視覺來進行果實的識別與定位，但機器視覺對光照條件敏感，背光、逆光等條件均會造成圖像中的果實邊緣信息提取的困難與錯誤，而補光等措施的效果受到實際光照條件的嚴格限制。同時，對普遍存在的果實相重疊情況，在機器視覺圖像中難以判別，僅能通過復雜算法處理來進行有限分割，其實時性與準確性嚴重不足。少數利用多光譜技術進行果實識別，其精度與實時性難以保證，且無法滿足重疊果實區分與果實定位的需要。近年來國內外開展了以激光為光源的三維視覺傳感器開發（劉兆祥等，蘋果采摘機器人三維視覺傳感器設計，農業機械學報，2010，41，2：171~175；I?Dewa?Made?SUBRATA等，3-D?Vision?Sensor?for?Cherry?Tomato?Harvesting?Robot，JARQ，1997：?257-264；Kanae?Tanigakia等，Cherry-harvesting?robot，Computer?and?Electronics?in?Agriculture,?2008：65~72.），利用果樹對激光的反射差異實現果實識別，利用激光三角測量原理實現果實定位，但對于成熟果實和未成熟果實的反射率相近等情況，由于信息的不足而難以做出正確判斷。

發明內容

???本發明提供一種激光掃描與機器視覺相結合的果實識別定位方法,實現對成熟目標果實的準確識別和定位。

為了解決以上技術問題，本發明采用的具體技術方案包括以下步驟：

步驟一，利用激光掃描儀（1）通過三維掃描同時獲得前方場景的反射率（3）、坐標（4）和距離（5）信息，同時由相機（2）獲得前方場景的彩色圖像（6）；

步驟二，將反射率（3）和坐標（4）信息相結合得到前方場景的反射率圖（7），將坐標（4）和距離（5）信息相結合得到前方場景的深度圖（7）；

步驟三，根據反射率圖（7）中的果實（9）與枝（10）、葉（11）輪廓形狀的圓度等特征，將果實（9）與枝（10）、葉（11）進行區分；?

步驟四，將彩色圖像（6）與反射率圖（7）進行匹配，根據彩色圖像（6）與反射率圖（7）中特征點（12）的顏色不同將成熟果實（13）和未成熟果實（14）進行區分，區分的依據為：當果實為番茄果實時，成熟果實（13）與未成熟果實（14）的顏色分別為青白和紅；當果實為柑橘時，成熟果實（13）與未成熟果實（14）的顏色分別為青和橘黃；當果實為桃時，成熟果實（13）與未成熟果實（14）的顏色分別為青和桃紅。

步驟五，根據深度圖（8）不同果實所處的不同距離，將成熟目標果實（15）從各個相重疊果實（17）中區分出來；

步驟六，根據深度圖（8）中成熟目標果實（15）的距離（5）與坐標（4）信息，實現對成熟目標果實（15）進行定位。

所述果實（9）為番茄、柑橘、桃果實中的任一種。

本發明的工作原理如下：激光掃描儀（1）的三維掃描不受光照條件的影響，在掃描生成的反射率圖（7）中，反射率具有顯著差異的果實（9）與枝（10）、葉（11）間可形成清晰輪廓并進行區分；將相機（2）獲得的彩色圖像（6）與反射率圖（7）匹配，可根據彩色圖像（6）與反射率圖（7）中特征點（12）的顏色特征差異將反射率（3）相近的成熟果實（13）和未成熟果實（14）進行區分；在激光掃描所獲得的深度圖（8）中，根據多個相互重疊的果實（9）所處的距離不同可以將成熟目標果實（15）從各個相重疊果實（17）中區分出來。

本發明具有有益效果。本發明結合利用激光掃描獲得的反射率、深度、坐標等多信息與機器視覺的彩色圖像信息，綜合實現成熟目標果實與枝葉、未成熟果實、相重疊果實的區分和定位，識別和定法準確，方法簡單快速，實時性與實用性強。

附圖說明

圖1為本發明的方法流程圖。

圖2為本發明的果實識別定位示意圖。

圖3為番茄生長狀態示意圖。

圖中：1.激光掃描儀，2.相機，3.反射率，4.坐標，5.距離，6.彩色圖像，7.反射率圖，8.深度圖，9.果實，10.枝，11.葉，12.特征點，13.成熟果實，14.未成熟果實，15.成熟目標果實,16.采摘機器人，17.相重疊果實。

具體實施方式