[發(fā)明專(zhuān)利]一種用于并聯(lián)機(jī)器人的基于主果梗深度的堆疊串類(lèi)水果抓取優(yōu)先級(jí)確定方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910011311.0
• 申請(qǐng)日: 2019-01-07
• 公開(kāi)（公告）號(hào): CN109829387B
• 公開(kāi)（公告）日: 2023-06-16
• 發(fā)明（設(shè)計(jì)）人: 高國(guó)琴;張千
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇大學(xué)
• 主分類(lèi)號(hào): G06V20/68
• 分類(lèi)號(hào): G06V20/68;G06V10/774;G06V10/764;G06V10/82
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種用于并聯(lián)機(jī)器人的基于主果梗深度的堆疊串類(lèi)水果抓取優(yōu)先級(jí)確定方法。在并聯(lián)機(jī)器人水果分揀系統(tǒng)下基于Kinect傳感器構(gòu)建堆疊串類(lèi)水果的立體視覺(jué)檢測(cè)系統(tǒng)，獲取堆疊串類(lèi)水果三維視覺(jué)信息，通過(guò)設(shè)計(jì)深度參照物構(gòu)建預(yù)訓(xùn)練數(shù)據(jù)集，并構(gòu)建堆疊串類(lèi)水果的主果梗深度數(shù)據(jù)集，對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，增加數(shù)據(jù)集分布范圍。構(gòu)建主果梗深度集分級(jí)模型，增加主果梗深度的特征量。設(shè)計(jì)多遷移學(xué)習(xí)訓(xùn)練策略對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)網(wǎng)絡(luò)進(jìn)行可視化分析和精度測(cè)試，調(diào)節(jié)參數(shù)，多次訓(xùn)練，直到精度滿足要求為止，實(shí)現(xiàn)堆疊串類(lèi)水果的深度集分級(jí)。最終實(shí)現(xiàn)堆疊串類(lèi)水果抓取優(yōu)先級(jí)的準(zhǔn)確確定，為并聯(lián)機(jī)器人實(shí)現(xiàn)對(duì)堆疊串類(lèi)水果的準(zhǔn)確、快速、無(wú)損自動(dòng)分揀奠定基礎(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺(jué)領(lǐng)域，具體涉及基于機(jī)器視覺(jué)、圖像處理和卷積神經(jīng)網(wǎng)絡(luò)確定堆疊串類(lèi)水果的抓取優(yōu)先級(jí)確定方法。

背景技術(shù)

近年來(lái)我國(guó)的水果產(chǎn)量增長(zhǎng)迅猛，傳統(tǒng)人工分揀方法已很難滿足現(xiàn)代農(nóng)業(yè)生產(chǎn)的需求，基于機(jī)器人技術(shù)實(shí)現(xiàn)水果的自動(dòng)分揀對(duì)農(nóng)業(yè)生產(chǎn)和農(nóng)產(chǎn)品加工的自動(dòng)化、規(guī)模化、精確化發(fā)展具有重要意義。在基于機(jī)器人的水果自動(dòng)分揀過(guò)程中，水果的準(zhǔn)確抓取檢測(cè)是機(jī)器人實(shí)現(xiàn)準(zhǔn)確、快速、無(wú)損抓取控制的前提條件。機(jī)器視覺(jué)由于具有非接觸、強(qiáng)適用性、高性價(jià)比等優(yōu)點(diǎn)，適合用于解決機(jī)器人自動(dòng)分揀水果的抓取檢測(cè)問(wèn)題。與蘋(píng)果、梨、菠蘿等獨(dú)立水果相比，形如葡萄、桂圓、荔枝等堆疊串類(lèi)水果由于其果梗和果粒分布無(wú)規(guī)律、主果梗無(wú)形狀和位置約束、水果串形態(tài)多樣等原因，其基于機(jī)器視覺(jué)的抓取檢測(cè)仍是難點(diǎn)。其中，抓取優(yōu)先級(jí)的確定是基于機(jī)器視覺(jué)的堆疊串類(lèi)水果抓取檢測(cè)中具挑戰(zhàn)性的問(wèn)題之一。

發(fā)明內(nèi)容

本發(fā)明的目的提出了一種準(zhǔn)確、快速的用于并聯(lián)機(jī)器人的基于主果梗深度的堆疊串類(lèi)水果抓取優(yōu)先級(jí)確定方法。

本發(fā)明的技術(shù)方案是：

步驟1，并聯(lián)機(jī)器人水果分揀系統(tǒng)下基于Kinect傳感器的堆疊串類(lèi)水果的立體視覺(jué)系統(tǒng)構(gòu)建：本發(fā)明基于Kinect傳感器和并聯(lián)機(jī)器人水果分揀系統(tǒng)共同構(gòu)建堆疊串類(lèi)水果的立體視覺(jué)檢測(cè)系統(tǒng)。將Kinect傳感器置于分揀系統(tǒng)的檢測(cè)平臺(tái)上方，檢測(cè)平臺(tái)中心軸線處，并選擇Kinect傳感器深度圖像檢測(cè)誤差最低的區(qū)域構(gòu)建檢測(cè)視場(chǎng)。同時(shí)，基于檢測(cè)平面大小、水果堆疊高度范圍、物距范圍等設(shè)計(jì)視覺(jué)硬件參數(shù)，構(gòu)建穩(wěn)定可靠的堆疊串類(lèi)水果的立體視覺(jué)檢測(cè)系統(tǒng)，為實(shí)現(xiàn)高精度的堆疊串類(lèi)水果抓取優(yōu)先級(jí)確定奠定基礎(chǔ)。

具體如下：將Kinect傳感器置于分揀系統(tǒng)的檢測(cè)平臺(tái)上方，檢測(cè)平臺(tái)中心軸線處，為減少硬件帶來(lái)的測(cè)量誤差，選擇Kinect傳感器的物距500～2000mm之間，靠近光軸中心，深度檢測(cè)誤差2mm的位置作為本發(fā)明的視覺(jué)檢測(cè)范圍，根據(jù)并聯(lián)機(jī)器人水果分揀系統(tǒng)中，檢測(cè)平面大小900*860mm²，水果串堆疊的高度范圍0～200mm，選擇檢測(cè)平臺(tái)到Kinect傳感器的距離為550～750mm根據(jù)三角公式求得傳感器在550mm和750mm時(shí)分別的視場(chǎng)平面大小為770.2*635.1mm²和1050.3*866.1mm²，因此選擇物距為750mm的平面作為檢測(cè)平面，構(gòu)建堆疊串類(lèi)水果的立體視覺(jué)檢測(cè)系統(tǒng)。

步驟2，堆疊串類(lèi)水果抓取優(yōu)先級(jí)確定的深度數(shù)據(jù)集構(gòu)建與擴(kuò)充：為解決堆疊串類(lèi)水果主果梗深度數(shù)據(jù)集的樣本不足、深度級(jí)別分布不均、深度獲取困難等問(wèn)題，本發(fā)明通過(guò)設(shè)計(jì)深度參照物構(gòu)建了深度級(jí)別分布均勻的預(yù)訓(xùn)練數(shù)據(jù)集。采用了用于學(xué)習(xí)圖像的邊緣、輪廓、紋理以及角點(diǎn)等一般特征的具有多種對(duì)象的大數(shù)據(jù)集，并構(gòu)建了用于學(xué)習(xí)堆疊串類(lèi)水果的主果梗深度特征的小數(shù)據(jù)集。同時(shí)，采用圖像處理方法對(duì)數(shù)據(jù)集進(jìn)行變換和擴(kuò)充，具體方法包括了圖像多種角度的旋轉(zhuǎn)、圖像的水平鏡像、圖像的垂直鏡像、圖像的中心鏡像、圖像的多種尺度變化、圖像的多種加噪處理等。以增加數(shù)據(jù)集分布范圍，并進(jìn)一步用以提高網(wǎng)絡(luò)對(duì)堆疊串類(lèi)水果主果梗深度特征的學(xué)習(xí)能力。具體如下：