[發(fā)明專利]基于深度聯(lián)想感知算法的受遮擋蔬果采收方法

在審

• 申請?zhí)枺?/td>: 201910168396.3
• 申請日: 2019-03-06
• 公開（公告）號: CN110033487A
• 公開（公告）日: 2019-07-19
• 發(fā)明（設(shè)計）人: 劉成良;貢亮;汪韜;李旭東;林可;李彥明
• 申請（專利權(quán)）人: 上海交通大學
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T5/00;G06T1/00
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 莊文莉

1.一種基于深度聯(lián)想感知算法的受遮擋蔬果采收方法，其特征在于，包括：

圖像采集步驟：采集RGB通道彩色圖像、D通道深度圖像和I通道紅外圖像；

預(yù)處理步驟：對采集到的圖像統(tǒng)一分辨率；

圖像裁剪步驟：剔除統(tǒng)一分辨率后的圖像中的采收機器人工作區(qū)域以外的區(qū)域；

目標識別步驟：識別成熟目標，并在裁剪后的圖像中標記出成熟目標的每個像素；

遮擋判斷步驟：判斷成熟目標是否被遮擋，在被遮擋的情況下復(fù)原出完整成熟目標的RGBD四個通道的圖像，在不被遮擋的情況下直接獲取完整成熟目標的RGBD四個通道的圖像；

位姿提取步驟：根據(jù)完整成熟目標的RGBD四個通道的圖像，提取出成熟目標的位置和姿態(tài)至采收機器人。

2.根據(jù)權(quán)利要求1所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收方法，其特征在于，所述預(yù)處理步驟還包括去除圖像中的噪聲。

3.根據(jù)權(quán)利要求1所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收方法，其特征在于，所述圖像裁剪步驟包括計算圖像中每個點的真實坐標，從而剔除統(tǒng)一分辨率后的圖像中的采收機器人工作區(qū)域以外的區(qū)域。

4.根據(jù)權(quán)利要求1所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收方法，其特征在于，判斷成熟目標是否被遮擋的方法包括：

提取目標識別得到的成熟目標輪廓像素，并提取輪廓內(nèi)、外側(cè)像素的深度值及三維坐標然后作差，若存在外側(cè)像素深度值小于內(nèi)側(cè)像素深度值，且三維坐標差值大于閾值，說明目標被遮擋；否則目標未被遮擋。

5.根據(jù)權(quán)利要求1所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收方法，其特征在于，復(fù)原出完整成熟目標的RGBD四個通道的圖像的方法包括：構(gòu)建視覺聯(lián)想模型對被遮擋的成熟目標進行還原。

6.一種基于深度聯(lián)想感知算法的受遮擋蔬果采收系統(tǒng)，其特征在于，包括：

圖像采集模塊：采集RGB通道彩色圖像、D通道深度圖像和I通道紅外圖像；

預(yù)處理模塊：對采集到的圖像統(tǒng)一分辨率；

圖像裁剪模塊：剔除統(tǒng)一分辨率后的圖像中的采收機器人工作區(qū)域以外的區(qū)域；

目標識別模塊：識別成熟目標，并在裁剪后的圖像中標記出成熟目標的每個像素；

遮擋判斷模塊：判斷成熟目標是否被遮擋，在被遮擋的情況下復(fù)原出完整成熟目標的RGBD四個通道的圖像，在不被遮擋的情況下直接獲取完整成熟目標的RGBD四個通道的圖像；

位姿提取模塊：根據(jù)完整成熟目標的RGBD四個通道的圖像，提取出成熟目標的位置和姿態(tài)至采收機器人。

7.根據(jù)權(quán)利要求6所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收系統(tǒng)，其特征在于，所述預(yù)處理模塊還包括去除圖像中的噪聲。

8.根據(jù)權(quán)利要求6所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收系統(tǒng)，其特征在于，所述圖像裁剪模塊包括計算圖像中每個點的真實坐標，從而剔除統(tǒng)一分辨率后的圖像中的采收機器人工作區(qū)域以外的區(qū)域。

9.根據(jù)權(quán)利要求6所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收系統(tǒng)，其特征在于，判斷成熟目標是否被遮擋的方法包括：

提取目標識別得到的成熟目標輪廓像素，并提取輪廓內(nèi)、外側(cè)像素的深度值及三維坐標然后作差，若存在外側(cè)像素深度值小于內(nèi)側(cè)像素深度值，且三維坐標差值大于閾值，說明目標被遮擋；否則目標未被遮擋。

10.根據(jù)權(quán)利要求6所述的基于深度聯(lián)想感知算法的受遮擋蔬果采收系統(tǒng)，其特征在于，復(fù)原出完整成熟目標的RGBD四個通道的圖像的方法包括：構(gòu)建視覺聯(lián)想模型對被遮擋的成熟目標進行還原。