[發明專利]一種基于卷積神經網絡的工業字符識別方法

有效

• 申請號: 201611235492.8
• 申請日: 2016-12-28
• 公開（公告）號: CN106650721B
• 公開（公告）日: 2019-08-13
• 發明（設計）人: 吳曉軍;張瑞
• 申請（專利權）人: 吳曉軍
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06N3/04
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 經國富

1.一種基于卷積神經網絡的工業字符識別方法，其特征在于：所述方法包括：

建立字符數據集，所述字符數據集包括混合場景字符數據集和單一場景字符數據集；

對所述字符數據集進行數據增強及預處理，其中，所述數據增強包括對字符圖像進行一系列的變換和加干擾操作來進一步擴大數據集；

建立CNN集成模型的核心思想是訓練具有準確性和多樣性的個體學習器，其中，個體學習器采用卷積神經網絡，所述CNN集成模型共包含三個CNN結構：Net-1、Net-2、Net-3，Net-1包含3個由卷積層和下采樣層重復堆疊的特征提取階段和2個全連接層，采用Softmax層作為特征分類器，采用了多級特征融合的方式，將每一個特征提取層或特定若干個特征提取層的輸出進行融合，共同輸入全連接層，這樣得到的集成特征向量傳入分類器作為最終的特征提取結果；Net-2也同樣包含3個特征提取階段，同樣采用了多級特征融合，在Net-2中所有的卷積層都采用3×3的卷積核；Net-3的結構與Net-2較為相似，但沒有將多級特征共同輸入全鏈接層；

在建立了三個網絡結構作為個體學習器后，對CNN集成模型進行訓練，訓練步驟如下：(1)從原始數據集中隨機采樣，產生三個隨機樣本空間，確保這些采樣空間與所涉及的原始數據集有微小差異；(2)輪流訓練三個網絡模型；采用上一步得到的三個樣本空間分別訓練Net-1，Net-2，Net-3，這樣就得到了三個有差異的分類器；(3)一輪訓練結束，返回步驟(1)繼續執行隨機采樣操作及訓練操作，直到達到預設的迭代次數或三個結構的誤差分別收斂到一定值，然后保存權重，得到三個個體分類器；

其中，訓練分為兩步完成，第一步為離線訓練，獲取離線訓練模型，第二步為在線訓練，將離線訓練模型用作初始化，進行特定生產線字符數據集的訓練，獲取在線訓練模型；以及

對目標圖形進行預處理、字符定位和單個字符圖像分割；

將分割好的字符圖像送入已訓練好的在線訓練模型中，得到CNN集成模型中三個分類器將單個目標圖像分類為每個類別的概率值；

采用投票的方式進行最終決策，得到測試數據的類別結果。

2.根據權利要求1所述的方法，其特征在于：所述數據預處理具體為：第一步，將全部圖像歸一化為32X32的灰度圖像；第二步，計算得到訓練集中所有圖像的均值，并對訓練集中的所有圖像進行按位置減去對應像素位置的均值的處理，計算公式如下：

其中，I為字符灰度圖像，n為訓練集全部圖像數量。

3.根據權利要求1所述的方法，其特征在于：對目標圖形進行預處理、字符定位和單個字符圖像分割具體為：

(1)實時獲取工業零件表面的字符圖像，調整好相機鏡頭光圈、焦距，在工業零件上方安放光源，拍攝圖片，實時獲取待檢測產品表面圖像；

(2)對于獲取的圖像首先采用直方圖均衡化進行對比度和灰度色調的調整，使圖像更加清晰；然后利用Ostu二值化和形態學處理操作凸顯字符區域，進行字符定位；

(3)將上述二值化后的字符區域按照豎直方向投影分割成單個字符。

4.根據權利要求1所述的方法，其特征在于：從原始數據集中隨機采樣，產生三個隨機樣本空間具體為：給定一個包含m個樣本的基礎數據集D，對其進行采樣產生數據集D'：每次隨機從D中挑選一個樣本，將其拷貝放入D'，然后再將該樣本放回初始數據集D中，使得該樣本在下次采樣時仍有可能被采到；這個過程重復執行m次后，就得到了包含m個樣本的數據集D'。

5.根據權利要求1所述的方法，其特征在于：將分割好的字符圖像送入已訓練好的在線訓練模型中，得到CNN集成模型中三個分類器將單個目標圖像分類為每個類別的概率值具體為：假設訓練得到的分類器為T_i(x),i＝1,2,...,n，通過輸入字符圖像數據x即可得到對應的類別標簽；對于個體分類器T_i(x)假設輸入x通過由隨機樣本空間訓練得到的分類器，能夠獲得輸入對應的最可能類別的概率值P_i(x)，那么R(x)就是輸入x對應的最終類別標簽：