[發明專利]一種基于深度學習的包裝噴碼檢測方法

在審

• 申請號: 201810607169.1
• 申請日: 2018-06-08
• 公開（公告）號: CN108921163A
• 公開（公告）日: 2018-11-30
• 發明（設計）人: 李勃;陳飛;趙鵬;董蓉
• 申請（專利權）人: 南京大學;南京匯川圖像視覺技術有限公司;南京匯川工業視覺技術開發有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

1.一種基于深度學習的包裝噴碼檢測方法，其特征是構造基于深度學習圖像分割網絡和深度學習圖像分類網絡的聯合系統，實現對包裝噴碼上每一個字符的定位和識別，包括字符區域提取、單行字符分割和單個字符識別三個步驟：

1)字符區域提?。?/p>

1a)使用語義分割網絡對輸入圖像進行分割，輸出黑白二值圖，白色像素點為前景，即白色像素點所在區域為字符區域；

1b)對白色像素點區域進行旋轉矩形的提取，得到矩形字符區域，根據旋轉矩形的傾斜角度進行字符區域的矯正；

2)單行字符分割：

2a)包裝噴碼為兩行，即字符區域是兩行字符，對步驟1b)得到的矯正后字符區域對折切分，得到單行字符，基于深度學習使用分類網絡對單行字符的每一列像素進行二分類，分為前景與背景，前景即為字符；

2b)根據2a)的分類結果及先驗知識對單行字符進行分割，得到單個字符；

3)單個字符識別：

3a)基于卷積神經網絡對得到單個字符進行圖像分類，識別得到檢測結果。

2.根據權利要求1所述的一種基于深度學習的包裝噴碼檢測方法，其特征是步驟1b)將字符區域經過形態學操作后，提取白色像素點區域的最小外接矩形，之后旋轉矩形的角度經過仿射變化，得到矯正后的正矩形，即為矯正后的字符區域。

3.根據權利要求1所述的一種基于深度學習的包裝噴碼檢測方法，其特征是步驟2a)通過深度學習分類網絡學習單行字符圖像每一列像素的潛在特征，通過特征來對每一列像素進行分類，分類網絡包括Alexnet、VGG、ZF-net、GoogleNet和Resnet。

4.根據權利要求1所述的一種基于深度學習的包裝噴碼檢測方法，其特征是步驟2b)中，將單行字符每一列像素的分類結果存在一個數組里，當列像素為背景則值為0，前景值為1，然后開始從左往右檢測數組的值，當出現第一個數值為1的值，把該值所對應的列像素作為第一個字符的左側邊界；然后接著檢查，直到再檢測到0值，把這個0值對應的列作為第一個字符的右側邊界，以此類推，確定所有字符的左右邊界。

5.根據權利要求1所述的一種基于深度學習的包裝噴碼檢測方法，其特征是步驟3a)中：首先訓練卷積神經網絡，獲取訓練樣本時，使用數據增強方法對單個字符的圖像做增強，數據增強方法包括加噪，調整對比度和透視變換，并使用隨機步長的方法來增加單個字符識別網絡的訓練數量，隨機步長指在定位好的單行噴碼字符中使用滑動窗口進行滑動，當滑動窗口與字符分割區域的重疊度IOU大于0.8，記為正樣本，并且將滑動窗口所在區域標記為字符分割區域的類別，所述類別指字符的內容。

6.根據權利要求1所述的一種基于深度學習的包裝噴碼檢測方法，其特征是單個字符識別中，通過特征提取后分類的方法對單個字符進行識別，所述特征提取包括批量歸一化、卷積、激活、池化為卷積神經網絡中提取輸入圖像特征的基本步驟，之后將提取到的特征通過softmax函數進行分類，得到識別結果。