[發明專利]一種基于圖像分割的工件金屬表面文字識別方法及系統

有效

• 申請號: 201911373220.8
• 申請日: 2019-12-27
• 公開（公告）號: CN111160352B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 徐輝;陸強;袁智超;孫天齊
• 申請（專利權）人: 創新奇智（北京）科技有限公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V30/19;G06V10/82;G06N3/0464
• 代理公司: 深圳珠峰知識產權代理有限公司 44899
• 代理人: 黃偉

本發明公開一種基于圖像分割的工件金屬表面文字識別方法及系統，涉及文字識別技術領域，包括：獲取工件金屬表面的文本行圖像；根據預先生成的文字識別模型對所述文本行圖像進行特征提取，得到所述文本行圖像對應的語義分割掩碼圖和實例分割掩碼圖；根據所述語義分割掩碼圖處理得到所述文本行圖像中的若干文字區域；根據所述實例分割掩碼圖處理得到各所述文字區域的文字類別；根據所述文字區域的二維坐標位置和所述文字類別處理得到所述文本行圖像的文字識別結果。本發明的有益效果是實時可靠地獲取工件金屬表面的每個文字在圖片中的位置和類別，獲取工件金屬表面文字圖片的識別結果，有效提高作業效率和準確率。

技術領域

本發明涉及文字識別技術領域，具體涉及一種基于圖像分割的工件金屬表面文字識別方法及系統。

背景技術

文字識別一般是指對文本圖像進行識別分析處理，獲取文字圖像上有用文字信息的過程。主要可分為光學文字識別、自然場景中的文字識別、特殊場景中的文字識別。隨著深度學習的興起，文字識別的準確率相比以前有了較大幅度的提升，文字識別也逐漸可應用到實際工業生產中，用于提升工業自動化水平和作業效率。

然而現有文字識別大多應用于身份證識別、發票識別、汽車VN碼識別、車牌識別等領域，在工業場景中的文字識別應用則比較少，尤其是工業場景中的工件金屬表面文字識別應用。相較于常規文字識別應用，工件金屬表面文字識別的難點在于：1，文字的成像造成的難點?，F場工業車間作業環境通常較為惡劣，實際工業場景中工件的制造工序一般較為復雜，同時金屬表面成像還會存在反光等情形，這就導致相機對現場工件的成像穩定性和質量不如常規文字識別應用場景。2，文字質量造成的難點。與常規文字識別應用場景中的印刷體文字不同，工件金屬表面文字主要是由激光雕刻、焊接、撞針刻蝕等方式產生，產生的工件表面文字與工件背景顏色接近，同時文字本身的質量也因實際雕刻或焊接等的工藝水平而有所不同，并且受工業現場影響，工件上的文字易出現劃痕、污損、殘缺等情況。3，文字長度造成的難點。工件金屬表面文字的文字長度和格式不固定，不同工件均有所不同。

現有常規文字識別應用領域的算法主要是CNN+RNN+CTC和CNN+RNN+Attention，若將其直接應用到工業環境中的工件金屬表面文字識別，由于常規文字識別應用場景與工業場景有很大的不同，上述提到的工件金屬表面文字識別的幾個難點使得現有技術對工件金屬表面文字的識別準確率達不到實際應用的要求。

發明內容

本發明的目的在于提供一種基于圖像分割的工件金屬表面文字識別方法及系統。

為達此目的，本發明采用以下技術方案：

提供一種基于圖像分割的工件金屬表面文字識別方法，具體包括以下步驟：

步驟S1，獲取工件金屬表面的文本行圖像；

步驟S2，根據預先生成的文字識別模型對所述文本行圖像進行特征提取，得到所述文本行圖像對應的語義分割掩碼圖和實例分割掩碼圖；

步驟S3，根據所述語義分割掩碼圖處理得到所述文本行圖像中的若干文字區域；

步驟S4，根據所述實例分割掩碼圖處理得到各所述文字區域的文字類別；

步驟S5，根據所述文字區域的二維坐標位置和所述文字類別處理得到所述文本行圖像的文字識別結果。

作為本發明的一種優選方案，還包括一預先生成所述文字識別模型的過程，具體包括：

步驟A1，獲取所述工件金屬表面的若干文本行圖像，并對各所述文本行圖像進行字符級別的標注，得到包含字符標注信息的標注圖像；

所述字符標注信息包括圖像中各字符的真實位置區域和真實類別信息；

步驟A2，將各所述標注圖像輸入具有預設參數的初始識別模型中進行特征提取，得到所述標注圖像對應的語義分割掩碼圖和實例分割掩碼圖；