[發(fā)明專利]果實分割識別方法及系統(tǒng)、果實采摘機器人在審
| 申請?zhí)枺?/td> | 202011519247.6 | 申請日： | 2020-12-21 |
| 公開（公告）號： | CN112541508A | 公開（公告）日： | 2021-03-23 |
| 發(fā)明（設計）人： | 賈偉寬;張中華;邵文靜;侯素娟;鄭元杰 | 申請（專利權(quán)）人： | 山東師范大學 |
| 主分類號： | G06K9/46 | 分類號： | G06K9/46;G06K9/34;G06K9/32;G06N3/08;G06N3/04 |
| 代理公司： | 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221 | 代理人： | 朱忠范 |
| 地址： | 250014 山*** | 國省代碼： | 山東;37 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 果實 分割 識別 方法 系統(tǒng) 采摘 機器人 | ||
本發(fā)明提供一種果實分割識別方法及系統(tǒng)、果實采摘機器人，屬于果實采摘機器人技術領域，標注果實圖像中的目標果實的輪廓；提取標注后的果實圖像中目標果實尺度大小與目標缺失果實的特征；將得到的特征圖輸送至區(qū)域候選網(wǎng)絡，經(jīng)非極大值抑制獲取相同尺度的感興趣區(qū)域；感興趣區(qū)域通過兩個全連接層與一個全卷積網(wǎng)絡預測果實置信度、邊框坐標與分割掩膜；計算果實置信度、邊框坐標與分割掩膜與標注值之間的損失，并通過梯度回傳更新網(wǎng)絡參數(shù)，不斷迭代至參數(shù)穩(wěn)定，得到識別模型進行分割識別。本發(fā)明實現(xiàn)了端到端的檢測流程，且精度高、魯棒性強，在存在各種干擾的果園環(huán)境下均能實現(xiàn)果實的有效分割，為推動蘋果采摘機器人部署到實際應用打下基礎。
技術領域
本發(fā)明涉及果實采摘機器人技術領域，具體涉及一種果實分割識別方法及系統(tǒng)、果實采摘機器人。
背景技術
果實采摘機器人的真正應用，對于推動果蔬產(chǎn)業(yè)的生產(chǎn)自動化與管理智能化具有重要意義，而視覺系統(tǒng)作為其中最基礎且重要的環(huán)節(jié)，能夠在復雜果園環(huán)境下實現(xiàn)目標果實的精準分割，將直接關聯(lián)到采摘機器人的作業(yè)質(zhì)量與運行效率。自上世紀中葉智能采摘問世以來，目標果實的識別算法就吸引了眾多國內(nèi)外學者的關注，并已在機器學習和深度學習等技術范疇積累了一定的研究基礎與成果，然而，目前的分割方法尚難以應對自然環(huán)境下存在的諸多干擾，比如果實重疊、枝葉遮擋、光照與天氣變化、混合噪聲及同色系背景等因素，極大限制了各模型的分割效果。因此，應進一步提升模型的檢測精度與抗干擾能力，完善視覺系統(tǒng)的高效性與穩(wěn)定性。
而造成模型檢測效果下降的主要原因，通常在于模型自身的特征提取能力不足，加之果園環(huán)境下存在的各種干擾，導致目標果實在形狀、顏色、紋理等方面的特征發(fā)生缺失，難以支撐模型的后續(xù)步驟做出正確判斷，從而誤檢、漏檢目標果實。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能有效提升模型對成簇或重疊目標果實的分割效果、有效提升模型對不同尺度目標果實的分割效果、提升模型對特征缺失目標果實的分割效果、可適應復雜果園環(huán)境下不同類型的目標果實識別的果實分割識別方法及系統(tǒng)、果實采摘機器人，以解決上述背景技術中存在的至少一項技術問題。
為了實現(xiàn)上述目的，本發(fā)明采取了如下技術方案：
一方面，本發(fā)明提供一種果實分割識別方法，包括：
步驟S110：采集果園環(huán)境下包含不同干擾的果實圖像，并標注果實圖像中的目標果實的輪廓；
步驟S120：提取標注后的果實圖像中目標果實尺度大小與目標缺失果實的特征；
步驟S130：將步驟S120得到的特征圖輸送至區(qū)域候選網(wǎng)絡，經(jīng)非極大值抑制獲取相同尺度的感興趣區(qū)域；
步驟S140：相同尺度的感興趣區(qū)域通過兩個全連接層與一個全卷積網(wǎng)絡預測果實置信度、邊框坐標與分割掩膜；
步驟S150：計算果實置信度、邊框坐標與分割掩膜與標注值之間的損失，并通過梯度回傳更新網(wǎng)絡參數(shù)，不斷迭代至參數(shù)穩(wěn)定，得到識別模型，對果園環(huán)境圖像中的果實進行分割識別。
優(yōu)選的，所述步驟S120具體包括：
步驟S121：標注后的果實圖像分批輸入到殘差網(wǎng)絡中，通過卷積操作進行連續(xù)下采樣；
步驟S122：引入特征金字塔網(wǎng)絡，通過自上至下以及橫向連接整合殘差網(wǎng)絡中的各層特征表示；
步驟S123：采樣特征金字塔網(wǎng)絡中的各層特征圖至相同尺度并整合，通過高斯非局部注意力機制聚合全圖信息，將聚合后的的特征表示回采樣并重新融合，得到平衡后的特征金字塔，輸出平衡后的特征圖。
優(yōu)選的，所述步驟S130具體包括：
步驟S131：將平衡后的特征圖輸入到區(qū)域候選網(wǎng)絡中，以特征圖上每一個空間位置對應在原圖上的坐標為中心，按照不同的尺寸與寬高比生成預定義錨框；
該專利技術資料僅供研究查看技術是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于山東師范大學，未經(jīng)山東師范大學許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011519247.6/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
