[發明專利]一種基于信息融合的重疊蘋果視覺識別與定位方法

在審

• 申請號: 201810237321.1
• 申請日: 2018-03-21
• 公開（公告）號: CN108470339A
• 公開（公告）日: 2018-08-31
• 發明（設計）人: 張勤;劉嘉超;李彬
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06T7/194;G06T7/155;G06T7/90;G06T7/73;G06T7/80
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種基于信息融合的重疊蘋果視覺識別與定位方法。該方法具體包括：運用Kinect v2.0體感攝像機采集果樹上果實圖像，其中彩色相機分辨率為1080*1920，深度相機分辨率為424*512。首先將深度圖像映射到彩色圖像中；之后，對匹配后的彩色圖像運用歸一化的r?g色差灰度算子提取蘋果的灰度化特征并分割去噪，運用連通域屬性分析完成目標區域特征提取；最后，在多源信息融合的圖像中，基于區域生長分割、定位出蘋果區域中單只蘋果位置。本發明可用于采摘機器人的視覺識別系統，完成果實自動采摘前重疊果實的精確定位工作，有利于采摘機器人執行機構快速準確的完成果實采摘任務。

技術領域

本發明涉及圖像識別技術領域，特別是涉及一種基于信息融合的重疊蘋果視覺識別與定位技術。

背景技術

近年來，農業采摘機器人發展迅速，視覺識別系統作為采摘機器人系中的關鍵技術，其主要作用是采摘目標的識別定位及相關特征信息提取。對于農業采摘機器人，其工作環境是開放式、多變化的非結構性復雜自然環境，果實的生長環境決定了其在自然環境下的空間位置姿態以及表面光照條件都是隨機不確定的，且枝、葉對果實存在遮擋現象以及果實之間的遮擋現象都給采摘機器人的視覺識別定位系統提出了挑戰。目前重疊蘋果的分割方法主要有基于圓擬合的方法、凹點檢測法、視差圖比對法、聚類算法等。這些方法都是通過二維顏色以及輪廓信息提取果實特征，完成遮擋果實及重疊果實識別，卻忽略了直接利用空間位置不同這一重要信息源。

本發明提供了一種基于顏色和深度信息融合的重疊蘋果分割方法，與現有的技術相比，提出的方法可以有效地適用于多蘋果重疊、大面積重疊蘋果的識別，且適用的深度范圍達到0.5m到1.5m，滿足采摘機器人在自然場景下對重疊蘋果識別與定位的要求。

發明內容

為了克服上述現有技術的不足，本發明提供了一種基于顏色和深度信息融合的重疊蘋果分割方法，在0.5m到1.5m距離范圍之內，利用重疊蘋果深度信息上的差異，能有效地對多蘋果重疊區域進行分割定位。滿足采摘機器人在自然場景下對重疊蘋果識別與定位的要求。

本發明所采用的技術方案如下。

一種基于信息融合的重疊蘋果視覺識別與定位方法，其按如下步驟進行：

步驟1：Kinect v2.0體感攝像機獲取自然生長條件下的果樹上的蘋果彩色圖像和深度圖像，通過張正友標定法獲取到的兩個相機內參和外參，計算深度圖像與彩色圖的坐標映射關系。獲取匹配后的彩色圖像。步驟2：對步驟1處理后的圖像運用歸一化的r-g色差灰度算子進行圖像增強處理，提取蘋果的顏色特征；同時進行分割去噪處理。步驟3：對步驟2處理后的圖像運用連通域屬性分析完成目標區域特征提取。步驟4：由步驟3可以獲取目標區域輪廓特征及最近點位置；最后，在多源信息融合的圖像中，基于區域生長分割、定位出蘋果區域中單只蘋果位置。

進一步的，在步驟1中：彩色圖像和深度圖像的配準具體步驟包括：

(1.1)采用張式標定法對彩色相機以及深度相機進行標定，通過標定得出二者內參和外參。其中，深度相機標定時，需用紅外光源照射標定板，獲取棋盤格紅外照片，進行角點檢測；為了方便棋盤角點檢測，減少紅外照片中的噪聲亮點，需用黑色遮光板將Kinectv2.0體感攝像機自身的紅外發射器完全遮擋。

(1.2)獲取彩色圖像(分辨率1080*1920)和深度圖(分辨率424*512)。

(1.3)通過(1.1)獲得的相機內、外參數計算深度圖與彩色圖的坐標映射關系，實現深度圖與彩色圖的配準，生成匹配后的彩色圖。