[發明專利]一種面向數字液晶的分割和識別方法

在審

• 申請號: 201910321657.0
• 申請日: 2019-04-19
• 公開（公告）號: CN110188746A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 徐園園;黃繼鵬;高陽
• 申請（專利權）人: 南京大學;江蘇萬維艾斯網絡智能產業創新中心有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

本發明提出了一種新的面向數字液晶的分割和識別方法。本發明定義了一種新的標定方法，能應用于顯示屏有污漬和劃痕的情況，通過標定準確分割數字表。本發明解決了無液晶數字集的問題，即對已有的數字集進行預處理，使其和待處理數字分布一致。本發明提出了卷積神經網絡結構，適用于小尺寸、小數量級數字圖片的識別。

技術領域

本發明涉及一種新的面向數字液晶的分割和識別方法。

背景技術

計算機視覺在目標檢測和識別等方面有很多應用，可以分為數字圖像處理技術和卷積神經網絡兩大類技術。數字圖像處理技術可以在無樣本或者少量樣本的情況下進行幾何圖形或者簡單物體的檢測。隨著深度學習方法的流行，尤其是卷積神經網絡，能夠提取圖像更高語義的特征，但是需要大量的樣本，神經網絡模型有較好的泛化性能，訓練集充足情況下識別效果更好。

液晶數字表的自動識別在工業領域有很高的應用價值，但是數字的準確分割和數字識別是難點。不同的液晶數字表有不同的讀數，小數點個數存在差異，整數部分也存在差異，甚至存在非數字字符。

圖像處理技術可以進行圖像增強和特征點匹配，SIFT特征點匹配可以實現檢測和定位物體，但是對于復雜背景的圖片或者無明顯特征的物體檢測效果不好，因此需要對圖片進行預處理，去除干擾。由于每個數字的大小相同，可以根據預先標注信息進行自動分割。對每個數字圖像進行圖像增強、去噪、二值化，利用卷積神經網絡模型進行數字識別。

卷積神經網絡需要大量的樣本，識別效果取決于訓練樣本和測試樣本的分別是否一致。雖然液晶數字表圖片較少，但是手寫體數字識別和車牌數字識別技術已經比較成熟，并且有對應的數據集。將車牌數字集進行預處理，使其和分割數字一樣尺寸，可以用來訓練。

卷積神經網絡主要包括卷積層、激活函數、池化層、全連接層、損失函數和優化方法，卷積核參數和學習率等參數需要根據識別效果自行設計。當訓練數據集較小時，卷積神經網絡很容易出現過擬合問題，可以利用批歸一化、Dropout等方法來解決過擬合問題。

發明內容

發明目的：本發明針對液晶數字表，提出一種新的數字分割和識別方法，適用于各種類型的液晶數字表。數字分割方法能應用于有污漬和劃痕的表盤，數字識別模型具有很強的抗噪能力，能有效進行數字識別。

技術方案：主要包括表盤定位、數字分割和數字識別。

(1)表盤定位：對輸入圖像進行圖像增強，根據預存的表盤模板圖片進行SIFT特征點匹配，根據特征信息檢測和定位表盤，在輸入圖像上截取出匹配的液晶表盤；

(2)數字分割：標定表盤中顯示屏的位置信息，截取顯示屏區域保存，待識別數字的位置信息，小數點的位置信息；對輸入圖像由(1)定位到表盤并截取出表盤圖片，根據標定信息從表盤圖片中截取出顯示屏區域，此時顯示屏區域可能是傾斜的，將顯示屏區域根據標定信息進行放縮和矯正，此時顯示屏區域和預存的顯示屏圖片尺寸和圖片方向都是一致的，文字也是相對應的，根據標定的數字位置進行分割，得到多個分割數字圖片；

(3)數字識別：對(2)分割出來的數字進行圖像增強和二值化處理，用訓練好的卷積神經網絡模型進行識別，最后根據標定信息得到最終讀數。圖像增強和二值化可以在輸入圖像上進行，也可以對每個分割數字進行。

數字識別的具體步驟包括：

(3.1)對數字進行圖像增強、去噪；

(3.2)對數字圖像進行自適應二值化；

(3.3)利用車牌數字集，對數字進行預處理，放縮成和分割圖片一樣尺寸，隨機添加噪聲；

(3.4)設計卷積神經網絡模型，通過實驗選擇合適的網絡結構和參數；

(3.5)對分割數字進行識別；