[發(fā)明專利]一種基于深度學(xué)習(xí)的包裝噴碼檢測方法

在審

• 申請?zhí)枺?/td>: 201810607169.1
• 申請日: 2018-06-08
• 公開（公告）號: CN108921163A
• 公開（公告）日: 2018-11-30
• 發(fā)明（設(shè)計(jì)）人: 李勃;陳飛;趙鵬;董蓉
• 申請（專利權(quán)）人: 南京大學(xué);南京匯川圖像視覺技術(shù)有限公司;南京匯川工業(yè)視覺技術(shù)開發(fā)有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04
• 代理公司: 南京天翼專利代理有限責(zé)任公司 32112
• 代理人: 奚銘

一種基于深度學(xué)習(xí)的包裝噴碼檢測方法，包括字符區(qū)域提取，單行字符分割，單個(gè)字符識別，其步驟為：使用語義分割網(wǎng)絡(luò)對圖像進(jìn)行字符區(qū)域提取；繼而使用列分類網(wǎng)絡(luò)對單行字符進(jìn)行分割；最后使用區(qū)域分類網(wǎng)絡(luò)對單個(gè)字符進(jìn)行識別。本發(fā)明各個(gè)網(wǎng)絡(luò)相互獨(dú)立無耦合，因而最終的識別精度很高，本發(fā)明能最大程度的減少噪聲，失真，低對比度，非均勻光照造等外界惡劣條件的干擾，準(zhǔn)確的提取字符區(qū)域并正確分割，識別，最重要的是，本發(fā)明做到了小樣本訓(xùn)練即可達(dá)到較高檢測精度，并且在檢測耗時(shí)和精度上都達(dá)到了工業(yè)界的要求。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，涉及深度學(xué)習(xí)和計(jì)算機(jī)視覺，為一種基于深度學(xué)習(xí)的包裝噴碼檢測方法。

背景技術(shù)

計(jì)算機(jī)視覺和互聯(lián)網(wǎng)的飛速發(fā)展帶來了大量的新產(chǎn)品和新服務(wù)，引發(fā)了人們對于實(shí)用性視覺技術(shù)的新思考和新需求，包裝噴碼檢測是工業(yè)界直接利用拍攝圖片檢測噴碼是否正確的一種方法，是工業(yè)界迫切需要解決的技術(shù)之一，受到了計(jì)算機(jī)視覺界和工業(yè)界的廣泛關(guān)注。

盡管在過去的幾十年，有關(guān)復(fù)雜場景下的字符識別取得了很大的突破，但運(yùn)用在包裝噴碼檢測中，還是有很多困難的地方，主要在以下三個(gè)方面：(1)各種干擾因素，如噪聲，失真，低對比度，非均勻光照會(huì)對噴碼檢測造成一定的影響；(2)不同的噴碼字符表現(xiàn)出不同的的字體，顏色，刻度和方向，噴碼檢測的算法必須有著較強(qiáng)的泛化能力；(3)相比自然場景檢測，工業(yè)界對于精度和耗時(shí)的要求更高，最重要的，為了適應(yīng)工業(yè)界的使用，必須做到小樣本訓(xùn)練。

目前有兩類主流的字符區(qū)域提取算法，一類是基于滑動(dòng)窗口的特征提取分類，一類是基于連通域分析的MSER(Maximally Stable Extremal Regions)、SWT(Stroke WidthTransform)算法，前者由于無法對帶方向的字符精確定位已被淘汰，后者因其對字符尺度、方向、字體變化不敏感已經(jīng)成為場景字符檢測領(lǐng)域的主流。然而，在模糊、不均勻光照、低分辨率、低對比度等惡劣條件下，連通域分析的算法表現(xiàn)不佳。而在單行字符檢測方面，主流的檢測方法是基于長短期記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)的CRNN(CNN+RNN)算法，然而其對訓(xùn)練樣本數(shù)量要求過高，故不適合在工業(yè)界的推廣；分割+識別是另一種單行字符檢測的設(shè)計(jì)方向，然而基于垂直投影或連通域分析的分割算法過于依賴二值化閾值的選擇，在不均勻光照和低對比度的情況下不能保證良好的分割性能。本發(fā)明使用區(qū)域提取加檢測的思路來進(jìn)行包裝噴碼檢測。

發(fā)明內(nèi)容

本發(fā)明要解決的問題是：通過人眼識別包裝噴碼成本高、效率低，目前的計(jì)算機(jī)視覺檢測技術(shù)存在抗干擾性差，泛化能力不足的問題，同時(shí)還需要大量訓(xùn)練樣本數(shù)據(jù)來訓(xùn)練識別能力，不適于工業(yè)推廣。

本發(fā)明的技術(shù)方案為：一種基于深度學(xué)習(xí)的包裝噴碼檢測方法，構(gòu)造基于深度學(xué)習(xí)圖像分割網(wǎng)絡(luò)和深度學(xué)習(xí)圖像分類網(wǎng)絡(luò)的聯(lián)合系統(tǒng)，實(shí)現(xiàn)對包裝噴碼上每一個(gè)字符的定位和識別，包括字符區(qū)域提取、單行字符分割和單個(gè)字符識別三個(gè)步驟：

1)字符區(qū)域提取：

1a)使用語義分割網(wǎng)絡(luò)對輸入圖像進(jìn)行分割，輸出黑白二值圖，白色像素點(diǎn)為前景，即白色像素點(diǎn)所在區(qū)域?yàn)樽址麉^(qū)域；

1b)對白色像素點(diǎn)區(qū)域進(jìn)行旋轉(zhuǎn)矩形的提取，得到矩形字符區(qū)域，根據(jù)旋轉(zhuǎn)矩形的傾斜角度進(jìn)行字符區(qū)域的矯正；

2)單行字符分割：

2a)包裝噴碼為兩行，即字符區(qū)域是兩行字符，對步驟1b)得到的矯正后字符區(qū)域?qū)φ矍蟹郑玫絾涡凶址谏疃葘W(xué)習(xí)使用分類網(wǎng)絡(luò)對單行字符的每一列像素進(jìn)行二分類，分為前景與背景，前景即為字符；

2b)根據(jù)2a)的分類結(jié)果及先驗(yàn)知識對單行字符進(jìn)行分割，得到單個(gè)字符；

3)單個(gè)字符識別：

3a)基于卷積神經(jīng)網(wǎng)絡(luò)對得到單個(gè)字符進(jìn)行圖像分類，識別得到檢測結(jié)果。