[發(fā)明專利]一種袋裝產(chǎn)品的AI識別定位方法、系統(tǒng)及裝置

在審

• 申請?zhí)枺?/td>: 202110266376.7
• 申請日: 2021-03-11
• 公開（公告）號: CN113111712A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 李建全;王錚;李金松;楊一粟;王志偉;王小龍
• 申請（專利權(quán)）人: 穩(wěn)健醫(yī)療用品股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N20/00
• 代理公司: 深圳鼎合誠知識產(chǎn)權(quán)代理有限公司 44281
• 代理人: 郭燕;彭家恩

一種袋裝產(chǎn)品的識別定位方法或系統(tǒng)，融合AI與機(jī)器視覺，使用深度學(xué)習(xí)模型將采集到的袋裝產(chǎn)品的原始圖像進(jìn)行識別和處理，得到第一組數(shù)據(jù)，并使用傳統(tǒng)的模板匹配算法得到對應(yīng)的另一組數(shù)據(jù)，將兩組數(shù)據(jù)進(jìn)行核對校準(zhǔn)，獲取最優(yōu)組數(shù)據(jù)，以所述最優(yōu)組數(shù)據(jù)作為袋裝產(chǎn)品定位結(jié)果，以使得機(jī)械手根據(jù)該組最優(yōu)數(shù)據(jù)進(jìn)行袋裝產(chǎn)品的抓取以完成后續(xù)程序，由于使用深度學(xué)習(xí)模型處理的方法得到數(shù)據(jù)進(jìn)行判定袋裝產(chǎn)品定位結(jié)果，不需要占用較大面積，就能完成混亂物料的識別和判斷，并將準(zhǔn)確數(shù)據(jù)傳遞給后續(xù)的充填或執(zhí)行機(jī)械手，能夠快速和準(zhǔn)確的實(shí)現(xiàn)袋裝產(chǎn)品包裝自動化，更好的實(shí)現(xiàn)工廠現(xiàn)代化。

技術(shù)領(lǐng)域

本發(fā)明涉及包裝自動化領(lǐng)域，具體涉及一種袋裝產(chǎn)品的AI識別定位方法、系統(tǒng)及裝置。

背景技術(shù)

在包裝自動化領(lǐng)域，通常需要將袋裝產(chǎn)品放入既定的包裝容器當(dāng)中(例如將小袋產(chǎn)品有序裝入紙盒)，一般是利用充填或執(zhí)行機(jī)械手抓取來料放入包裝容器中，以實(shí)現(xiàn)包裝自動化。然而，如果來料的不規(guī)則、混亂、堆疊等現(xiàn)象往往導(dǎo)致機(jī)械手無法抓取適當(dāng)產(chǎn)品以至于后續(xù)自動化難以實(shí)現(xiàn)。通常，需要人工投料，以避免進(jìn)料不規(guī)則、混亂或者堆疊的情況。

目前市面上有利用震動或差速理料裝置將物料分開，以避免堆疊并使物料均勻的方式，但是，這些方式的成本較大，也需要占用較大的占地面積，效率較低，不利于現(xiàn)代化工廠。

因此，需要一種袋裝產(chǎn)品識別定位方法，以使得在適當(dāng)?shù)恼嫉孛娣e情況下，完成混亂物料識別和判斷，并將準(zhǔn)確數(shù)據(jù)傳遞給后續(xù)的充填或執(zhí)行機(jī)械手，使得效率更高。

發(fā)明內(nèi)容

本發(fā)明主要解決的技術(shù)問題是提供一種袋裝產(chǎn)品的識別定位方法、系統(tǒng)及裝置，能夠在不增加過多占地面積的情況下，完成混亂物料的識別和判斷，并將準(zhǔn)確數(shù)據(jù)傳遞給后續(xù)的充填或執(zhí)行機(jī)械手。

根據(jù)第一方面，一種實(shí)施例中提供一種融合AI與機(jī)器視覺的袋裝產(chǎn)品的識別定位方法，包括：

采集流水線上袋裝產(chǎn)品的原始圖像；

將所述原始圖像傳入深度學(xué)習(xí)模型進(jìn)行處理，得到袋裝產(chǎn)品的第一組數(shù)據(jù)，其中，所述第一組數(shù)據(jù)包括中心點(diǎn)坐標(biāo)、正反類別以及角度數(shù)據(jù)；

使用模板匹配算法對所述原始圖像進(jìn)行處理，得到對應(yīng)所述第一組數(shù)據(jù)的第二組數(shù)據(jù)，其中，所述第二組數(shù)據(jù)包括中心點(diǎn)坐標(biāo)、正反類別以及角度數(shù)據(jù)；

將所述第一組數(shù)據(jù)和第二組數(shù)據(jù)進(jìn)行核對校準(zhǔn)，獲取最優(yōu)組數(shù)據(jù)，以所述最優(yōu)組數(shù)據(jù)作為袋裝產(chǎn)品識別定位結(jié)果；

將所述袋裝產(chǎn)品識別定位結(jié)果傳遞給機(jī)械手，以使機(jī)械手抓取袋裝產(chǎn)品，同時，通過上位機(jī)軟件界面實(shí)時進(jìn)行效果展示。

一些實(shí)施例中，將所述原始圖像傳入深度學(xué)習(xí)模型進(jìn)行處理，得到袋裝產(chǎn)品的第一組數(shù)據(jù)包括：

將所述原始圖像傳入預(yù)先訓(xùn)練好的深度學(xué)習(xí)模型YOLO中進(jìn)行識別；

將識別到的每一個非堆疊狀態(tài)的袋裝產(chǎn)品的坐標(biāo)與類別信息經(jīng)數(shù)據(jù)提取轉(zhuǎn)換成中心點(diǎn)坐標(biāo)、正反類別以及角度，以實(shí)現(xiàn)初步定位。

一些實(shí)施例中，所述深度學(xué)習(xí)模型YOLO的訓(xùn)練過程包括：

使用工業(yè)相機(jī)采集流水線上隨機(jī)擺放的袋裝產(chǎn)品圖像，并使用標(biāo)注工具進(jìn)行袋裝產(chǎn)品整體目標(biāo)、局部目標(biāo)的標(biāo)注，從而構(gòu)建起數(shù)據(jù)集，其中，所述整體目標(biāo)包括袋裝產(chǎn)品整體區(qū)域的范圍，分為正面和反面；所述局部目標(biāo)包括袋裝產(chǎn)品上的局部特征區(qū)域，正面和反面上均至少1個；

從所述數(shù)據(jù)集中按照預(yù)設(shè)比例劃分出訓(xùn)練集、驗(yàn)證集和測試集；

使用訓(xùn)練集對深度學(xué)習(xí)模型YOLO進(jìn)行訓(xùn)練，使用驗(yàn)證集在訓(xùn)練過程中進(jìn)行模型的性能評判，然后使用測試集進(jìn)行測試，當(dāng)測試結(jié)果能夠準(zhǔn)確識別定位出整體目標(biāo)和局部目標(biāo)時既通過測試，最終得到滿足要求的YOLO預(yù)訓(xùn)練模型。