[發(fā)明專利]一種基于圖像分割的工件金屬表面文字識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911373220.8
• 申請(qǐng)日: 2019-12-27
• 公開（公告）號(hào): CN111160352B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 徐輝;陸強(qiáng);袁智超;孫天齊
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)新奇智（北京）科技有限公司
• 主分類號(hào): G06V30/148
• 分類號(hào): G06V30/148;G06V30/19;G06V10/82;G06N3/0464
• 代理公司: 深圳珠峰知識(shí)產(chǎn)權(quán)代理有限公司 44899
• 代理人: 黃偉

1.一種基于圖像分割的工件金屬表面文字識(shí)別方法，其特征在于，具體包括以下步驟：

步驟S1，獲取工件金屬表面的文本行圖像；

步驟S2，根據(jù)預(yù)先生成的文字識(shí)別模型對(duì)所述文本行圖像進(jìn)行特征提取，得到所述文本行圖像對(duì)應(yīng)的語義分割掩碼圖和實(shí)例分割掩碼圖；

步驟S3，根據(jù)所述語義分割掩碼圖處理得到所述文本行圖像中的若干文字區(qū)域；

步驟S4，根據(jù)所述實(shí)例分割掩碼圖處理得到各所述文字區(qū)域的文字類別；

步驟S5，根據(jù)所述文字區(qū)域的二維坐標(biāo)位置和所述文字類別處理得到所述文本行圖像的文字識(shí)別結(jié)果；

基于圖像分割的工件金屬表面文字識(shí)別方法還包括一預(yù)先生成所述文字識(shí)別模型的過程，具體包括：

步驟A1，獲取所述工件金屬表面的若干文本行圖像，并對(duì)各所述文本行圖像進(jìn)行字符級(jí)別的標(biāo)注，得到包含字符標(biāo)注信息的標(biāo)注圖像；

所述字符標(biāo)注信息包括圖像中各字符的真實(shí)位置區(qū)域和真實(shí)類別信息；

步驟A2，將各所述標(biāo)注圖像輸入具有預(yù)設(shè)參數(shù)的初始識(shí)別模型中進(jìn)行特征提取，得到所述標(biāo)注圖像對(duì)應(yīng)的語義分割掩碼圖和實(shí)例分割掩碼圖；

步驟A3，分別計(jì)算所述語義分割掩碼圖中各字符的預(yù)測(cè)位置區(qū)域和對(duì)應(yīng)的所述真實(shí)位置區(qū)域之間的第一交叉熵?fù)p失，以及所述實(shí)例分割掩碼圖中各字符的預(yù)測(cè)類別信息與對(duì)應(yīng)的所述真實(shí)類別信息之間的第二交叉熵?fù)p失；

步驟A4，對(duì)所述第一交叉熵?fù)p失和所述第二交叉熵?fù)p失求和得到所述初始識(shí)別模型的總交叉熵?fù)p失，并將所述總交叉熵?fù)p失與預(yù)設(shè)的損失閾值進(jìn)行比較：

若所述總交叉熵?fù)p失不小于所述損失閾值，則轉(zhuǎn)向步驟A5；

若所述總交叉熵?fù)p失小于所述損失閾值，則轉(zhuǎn)向步驟A6；

步驟A5，對(duì)所述預(yù)設(shè)參數(shù)進(jìn)行調(diào)整，隨后返回所述步驟A2；

步驟A6，將所述初始識(shí)別模型作為文字識(shí)別模型進(jìn)行保存。

2.根據(jù)權(quán)利要求1所述的基于圖像分割的工件金屬表面文字識(shí)別方法，其特征在于，所述文字識(shí)別模型的網(wǎng)絡(luò)架構(gòu)具體包括：

普通卷積層，所述普通卷積層包括卷積核大小為3x3且步長(zhǎng)為2的卷積層、BN層和RELU層，且所述普通卷積層的輸出通道為32；

第一殘差卷積塊，連接所述普通卷積層，所述第一殘差卷積塊包括一個(gè)深度可分離卷積，所述深度可分離卷積的卷積核大小為3x3，步長(zhǎng)為1，且所述第一殘差卷積塊的輸出通道為16；

第二殘差卷積塊，連接所述第一殘差卷積塊，所述第二殘差卷積塊包括一第一深度可分離卷積和一第二深度可分離卷積，且所述第一深度可分離卷積的卷積核大小為3x3，步長(zhǎng)為2，輸出通道為24，所述第二深度可分離卷積的卷積核大小的卷積核大小為3x3，步長(zhǎng)為1，輸出通道為24；

第三殘差卷積塊，連接所述第二殘差卷積塊，所述第三殘差卷積塊包括一第三深度可分離卷積、一第四深度可分離卷積和一第五深度可分離卷積，且所述第三深度可分離卷積的卷積核大小為3x3，步長(zhǎng)為2，輸出通道為32，所述第四深度可分離卷積的卷積核大小的卷積核大小為3x3，步長(zhǎng)為1，輸出通道為32，所述第五深度可分離卷積的卷積核大小的卷積核大小為3x3，步長(zhǎng)為1，輸出通道為32；

第四殘差卷積塊，連接所述第三殘差卷積塊，所述第四殘差卷積塊包括四個(gè)第六深度可分離卷積，且各所述第六深度可分離卷積的卷積核大小為3x3，步長(zhǎng)為1，輸出通道為64；

第五殘差卷積塊，連接所述第四殘差卷積塊，所述第五殘差卷積塊包括三個(gè)第七深度可分離卷積，且各所述第七深度可分離卷積的卷積核大小為3x3，步長(zhǎng)為1，輸出通道為96；

第六殘差卷積塊，連接所述第五殘差卷積塊，所述第六殘差卷積塊包括三個(gè)第八深度可分離卷積，且各所述第八深度可分離卷積的卷積核大小為3x3，步長(zhǎng)為1，輸出通道為160；

第七殘差卷積塊，連接所述第六殘差卷積塊，所述第七殘差卷積塊包括一第九深度可分離卷積，且所述第九深度可分離卷積的卷積核大小為3x3，步長(zhǎng)為1，輸出通道為320；

第八殘差卷積塊，連接所述第七殘差卷積塊，所述第八殘差卷積塊的輸出層經(jīng)兩個(gè)不同的卷積上采樣后分別生成語義分割掩碼圖和實(shí)例分割掩碼圖。