[發明專利]一種基于修正網絡的不規則文本識別系統及方法

在審

• 申請號: 201911145879.8
• 申請日: 2019-11-21
• 公開（公告）號: CN110889404A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 張雨柔;李銳;于治樓
• 申請（專利權）人: 山東浪潮人工智能研究院有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于修正網絡的不規則文本識別系統，其特征在于：包括文本修正網絡和文本識別網絡，其中：

文本修正網絡：用于將不規則文本圖片轉換為規則文本圖片；

文本識別網絡：用于識別上述規則的文本圖片并生成文本信息。

2.根據權利要求1所述的基于修正網絡的不規則文本識別系統，其特征在于：所述文本修正網絡包括預測網絡和圖片網格化模塊，其中：

預測網絡：基于卷積神經網絡獲取由不規則文本圖片轉換成規則文本圖片時所對應的每個像素的位置偏差；

圖片網格化模塊：將不規則文本圖片生成網格圖，獲得不規則文本圖片上的每個像素的坐標信息，綜合每個像素的坐標信息與相對應的位置偏差，輸出每個像素的轉換后的坐標信息，進而獲得規則文本圖片。

3.根據權利要求1所述的基于修正網絡的不規則文本識別系統，其特征在于：所述文本識別網絡采用編碼器-解碼器結構，編碼器采用卷積神經網絡和循環神經網絡進行特征提取，解碼器采用雙向LSTM，并結合注意力機制。

4.一種基于修正網絡的不規則文本識別方法，其特征在于：包括如下步驟：

通過文本修正網絡將不規則文本圖片轉換成規則文本圖片；

通過文本識別網絡識別上述規則文本圖片并輸出相對應的文本信息。

5.根據權利要求4所述的基于修正網絡的不規則文本識別方法，其特征在于：所述將不規則文本圖片轉換成規則的文本圖片的步驟包括：

基于卷積神經網絡獲得由不規則文本圖片轉換成規則文本圖片時所對應的每個像素的位置偏差坐標；

基于正則化的處理方式獲得原始的不規則文本圖片上每個像素的原始位置坐標；

將上述每個像素的原始位置坐標做歸一化處理獲得每個像素的歸一化坐標；

將每個像素的歸一化坐標與相應的位置偏差坐標做求和處理獲得每個像素的轉換位置坐標。

6.根據權利要求5所述的基于修正網絡的不規則文本識別方法，其特征在于：所述基于卷積神經網絡獲得由不規則文本圖片轉換成規則文本圖片時所對應的每個像素的位置偏差坐標的步驟包括：

以不規則文本圖片的像素值作為輸入，通過預測網絡得到一個雙通道的特征圖，其中一個通道對應X軸偏差坐標，另一個通道對應Y軸偏差坐標，所述預測網絡基于卷積神經網絡建立；

所述特征圖的尺寸小于不規則文本圖片的尺寸，通過resize函數將所述特征圖轉換成不規則文本圖片的大小尺寸，獲得不規則文本圖片上每個像素對應的位置偏差坐標。

7.根據權利要求6所述的基于修正網絡的不規則文本識別方法，其特征在于：所述預測網絡包括五層：第一層包括一層最大池化層組成，第二層包括一層卷積層和一層最大池化層，第三層包括一層卷積層和一層最大池化層，第四層包括三層卷積層和一層最大池化層，第五層包括一層卷積層，其中：第二層至第四層的卷積層均跟隨有一層批歸一化層和一層RELU激活函數層，第五層的卷積層跟隨有一層批歸一化層和一層Tanh激活函數層。

8.根據權利要求6所述的基于修正網絡的不規則文本識別方法，其特征在于：將上述每個像素的原始位置坐標做歸一化處理獲得每個像素的歸一化坐標的步驟包括：

獲取原始圖片的寬度w和高度h，將每個像素的原始位置坐標分別除以[w/2,h/2]獲得歸一化坐標。

9.根據權利要求4所述的基于修正網絡的不規則文本識別方法，其特征在于：所述識別上述規則文本圖片并輸出相對應的文本信息的步驟中：所述文本識別網絡采用編碼器-解碼器結構，編碼器采用卷積神經網絡進行特征提取，解碼器采用雙向LSTM循環神經網絡，并結合注意力機制，最終獲得基于字符概率分布的輸出。

10.根據權利要求4所述的基于修正網絡的不規則文本識別方法，其特征在于：所述文本修正網絡和文本識別網絡的建立包括如下步驟：

搭建文本修正網絡結構：基于卷積神經網絡搭建文本修正網絡的預測網路，以不規則文本圖片的像素值為輸出，搭建五層結構層，第一層包括一層最大池化層組成，第二層包括一層卷積層和一層最大池化層，第三層包括一層卷積層和一層最大池化層，第四層包括三層卷積層和一層最大池化層，第五層包括一層卷積層，其中：第二層至第四層的卷積層均跟隨有一層批歸一化層和一層RELU激活函數層，第五層的卷積層跟隨有一層批歸一化層和一層Tanh激活函數層，輸出為兩通道的偏差預測信息；

搭建文本識別網絡結構：基于編碼器-解碼器結構建立文本識別網絡，基于卷積神經網絡和循環神經網絡搭建編碼器，基于雙向LSTM搭建解碼器，結合注意力機制，基于字符概率分布輸出字符；

建立數據集：選擇數據集，并將數據集劃分為訓練集和測試集；

網絡訓練：采用課程學習的策略對文本修正網絡和文本識別網絡進行網絡參數的學習，通過規則文本圖片先對文本識別網絡進行訓練，然后固定文本識別網絡，通過不規則文本對文本修正網絡進行訓練，最后采用端到端的方式同時訓練文本修正網絡和文本識別網絡。