[發明專利]一種基于深度學習的芯片表面字符識別方法

在審

• 申請號: 202010966514.8
• 申請日: 2020-09-15
• 公開（公告）號: CN112115948A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 陳中舒;張昌華;左琳;郭峰;劉宇
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/38;G06K9/62;G06N3/04;G06N3/08;G06T7/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習的芯片表面字符識別方法，其特征在于，包括以下步驟：

步驟1，將所有芯片圖像進行低照度增強，隨機選取部分增強圖像進行區域標注，將每張圖像劃分為背景、芯片區域、焊盤區域(背景區域)及其它區域，并使用DeepLab V3網絡進行訓練；

步驟2，將步驟1得到的增強圖像輸入到訓練完成的DeepLab V3網絡中，得到每張芯片對應的區域分割圖；

步驟3，去除非字符反光元素：利用步驟2得到的分割圖，對分割圖中的芯片區域做取外邊界矩形處理，并對邊界矩形區域內的像素進行調整；若像素為芯片類或背景類則予以保留，否則將像素賦值為0；最后取邊界矩形的左上角坐標及寬高，在步驟1得到的增強圖像上截取相同位置和大小的形狀作為新的圖像輸出；

步驟4，識別字符方向：將步驟3得到的輸出圖像隨機篩選一部分，按其字符的逆時針旋轉方向標注為0度、90度、180度、270度；標注后對所有圖像進行亮度、對比度、清晰度度和另外三個方向的增廣，然后將這些圖像在卷積神經網絡中進行訓練；

步驟5，將步驟3得到的輸出圖像輸入到步驟4訓練完成的模型中，經過預測得到圖像字符的旋轉角度值；將步驟3得到的輸出圖像按照角度值對芯片圖像反向旋轉，得到字符方向修正為0度的芯片圖像；

步驟6，將步驟5得到的修正圖像進行標注，標注內容包括圖像上每個文本行區域的左上角坐標、文本行的寬高及文本行包含的字符個數，最后將這些標注后的圖像與它們的標簽在CRAFT神經網絡中進行訓練；

步驟7，將步驟5得到的正向字符圖像輸入到步驟6訓練完成的網絡當中，得到網絡輸出的兩個概率分布圖像，分別代表輸入圖像中每個像素為字符中心的概率和每個像素為兩個字符連接中心的概率；

步驟8，提取單字符圖像：利用步驟7得到的字符概率分布圖及字符連接區域概率分布圖，在步驟5得到的修正圖像上截取出所有的單字符圖像；

步驟9，對步驟8得到的單字符圖像進行標注，標注后對所有圖像進行亮度、對比度、清晰度、x軸方向偏移和y軸方向偏移的增廣，然后將標注后的圖像在卷積神經網絡中進行訓練；

步驟10，字符序列識別：將步驟8得到的單字符圖像輸入步驟9訓練完成的模型中，輸出與每張芯片圖像相對應的芯片字符序列；

步驟11，對于步驟10得到每個芯片的字符序列，對其中存在的相似字符如o和0，1和I，2和Z，5和S進行容錯修正，如果序列中包含了上述字符，使用最鄰近修正算法，判定與當前字符相鄰字符為字母占多數或是數字占多數，若判定結果與當前字符的類別不一致，則對該字符進行修正，修正后輸出最終的字符序列。

2.根據權利要求1所述的方法，其特征在于步驟8包括：

步驟8-1，將步驟7得到的字符概率分布圖T(x,y)和字符連接區域概率L(x,y)分布圖，分別進行二值化處理：

其中閾值θ_t為0.35，θ_l為0.4；

步驟8-2，將步驟8-1得到的T_th和L_th進行并集運算，在圖像上尋找連同區域，并對各個連通區域的像素進行標記：g(x,y)＝n,n＝0,1,2…，其中n為像素所在連通域的編號，n＝0時表示該像素位于背景區域；

步驟8-3，對字符概率分布圖T(x,y)和L(x,y)分別進行二維高斯卷積得到T’(x,y)和L’(x,y)，其中高斯核參數sigma＝1；然后通過尋找圖中的各個極大值點，分別提取出芯片上每個字符的中心點的坐標C_Text和每個字符連接中心C_Link的坐標：

C_Text＝{(x,y)|T'(x,y)≥max(T'(x_i,y_i),λ),x_i∈[x-1,x+1],y_i∈[y-1,y+1]}

C_Link＝{(x,y)|L'(x,y)≥max(L'(x_i,y_i),λ),x_i∈[x-1,x+1],y_i∈[y-1,y+1]}

其中λ＝0.25；

步驟8-4，遍歷字符中心坐標，利用步驟8-1得到的T_th計算字符的初始邊界坐標：

y_t＝max{y|T_th(x_c,y)＝0,y∈[0,y_c)}

y_b＝min{y|T_th(x_c,y)＝0,y∈(y_c,h]}

x_l＝max{x|T_th(x,y_c)＝0,y∈[0,x_c)}

x_r＝min{x|T_th(x,y_c)＝0,y∈(x_c,w]}

其中，y_t和y_b為上下邊界的y坐標、x_l和x_r為左右邊界的x坐標、x_c和y_c為字符中心的x及y坐標，w和h為圖片的寬度及高度；

步驟8-5，對于每個字符中心，在其兩側掃描相同編號的字符連接中心，左右掃描范圍分別為：

R_l＝{(x,y)|x∈[0,x_c),y∈[y_t,y_b]}

R_r＝{(x,y)|x∈[0,x_c),y∈[y_t,y_b]}

若字符中心左(右)側存在編號相同的字符連接中心，則取其距離最近的字符連接中心，以其的x軸坐標修正為字符新的左(右)邊界：

其中，g(x,y)＝g(x_c,y_c),若字符中心左側不存在編號相同的字符連接中心，則不更新字符的左(右)邊界，即x'_l＝x_l或x'_r＝x_r；

步驟8-6，根據字符新的左側和右側邊界，修正字符的上側和下側邊界：

步驟8-7，根據步驟8-5和步驟8-6得到的修正的字符邊界，在步驟5得到的輸出圖像中截取每個單字符圖像。