[發(fā)明專利]一種基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201911145879.8
• 申請日: 2019-11-21
• 公開（公告）號(hào): CN110889404A
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計(jì)）人: 張雨柔;李銳;于治樓
• 申請（專利權(quán)）人: 山東浪潮人工智能研究院有限公司
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜明

1.一種基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別系統(tǒng)，其特征在于：包括文本修正網(wǎng)絡(luò)和文本識(shí)別網(wǎng)絡(luò)，其中：

文本修正網(wǎng)絡(luò)：用于將不規(guī)則文本圖片轉(zhuǎn)換為規(guī)則文本圖片；

文本識(shí)別網(wǎng)絡(luò)：用于識(shí)別上述規(guī)則的文本圖片并生成文本信息。

2.根據(jù)權(quán)利要求1所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別系統(tǒng)，其特征在于：所述文本修正網(wǎng)絡(luò)包括預(yù)測網(wǎng)絡(luò)和圖片網(wǎng)格化模塊，其中：

預(yù)測網(wǎng)絡(luò)：基于卷積神經(jīng)網(wǎng)絡(luò)獲取由不規(guī)則文本圖片轉(zhuǎn)換成規(guī)則文本圖片時(shí)所對應(yīng)的每個(gè)像素的位置偏差；

圖片網(wǎng)格化模塊：將不規(guī)則文本圖片生成網(wǎng)格圖，獲得不規(guī)則文本圖片上的每個(gè)像素的坐標(biāo)信息，綜合每個(gè)像素的坐標(biāo)信息與相對應(yīng)的位置偏差，輸出每個(gè)像素的轉(zhuǎn)換后的坐標(biāo)信息，進(jìn)而獲得規(guī)則文本圖片。

3.根據(jù)權(quán)利要求1所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別系統(tǒng)，其特征在于：所述文本識(shí)別網(wǎng)絡(luò)采用編碼器-解碼器結(jié)構(gòu)，編碼器采用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，解碼器采用雙向LSTM，并結(jié)合注意力機(jī)制。

4.一種基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別方法，其特征在于：包括如下步驟：

通過文本修正網(wǎng)絡(luò)將不規(guī)則文本圖片轉(zhuǎn)換成規(guī)則文本圖片；

通過文本識(shí)別網(wǎng)絡(luò)識(shí)別上述規(guī)則文本圖片并輸出相對應(yīng)的文本信息。

5.根據(jù)權(quán)利要求4所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別方法，其特征在于：所述將不規(guī)則文本圖片轉(zhuǎn)換成規(guī)則的文本圖片的步驟包括：

基于卷積神經(jīng)網(wǎng)絡(luò)獲得由不規(guī)則文本圖片轉(zhuǎn)換成規(guī)則文本圖片時(shí)所對應(yīng)的每個(gè)像素的位置偏差坐標(biāo)；

基于正則化的處理方式獲得原始的不規(guī)則文本圖片上每個(gè)像素的原始位置坐標(biāo)；

將上述每個(gè)像素的原始位置坐標(biāo)做歸一化處理獲得每個(gè)像素的歸一化坐標(biāo)；

將每個(gè)像素的歸一化坐標(biāo)與相應(yīng)的位置偏差坐標(biāo)做求和處理獲得每個(gè)像素的轉(zhuǎn)換位置坐標(biāo)。

6.根據(jù)權(quán)利要求5所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別方法，其特征在于：所述基于卷積神經(jīng)網(wǎng)絡(luò)獲得由不規(guī)則文本圖片轉(zhuǎn)換成規(guī)則文本圖片時(shí)所對應(yīng)的每個(gè)像素的位置偏差坐標(biāo)的步驟包括：

以不規(guī)則文本圖片的像素值作為輸入，通過預(yù)測網(wǎng)絡(luò)得到一個(gè)雙通道的特征圖，其中一個(gè)通道對應(yīng)X軸偏差坐標(biāo)，另一個(gè)通道對應(yīng)Y軸偏差坐標(biāo)，所述預(yù)測網(wǎng)絡(luò)基于卷積神經(jīng)網(wǎng)絡(luò)建立；

所述特征圖的尺寸小于不規(guī)則文本圖片的尺寸，通過resize函數(shù)將所述特征圖轉(zhuǎn)換成不規(guī)則文本圖片的大小尺寸，獲得不規(guī)則文本圖片上每個(gè)像素對應(yīng)的位置偏差坐標(biāo)。

7.根據(jù)權(quán)利要求6所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別方法，其特征在于：所述預(yù)測網(wǎng)絡(luò)包括五層：第一層包括一層最大池化層組成，第二層包括一層卷積層和一層最大池化層，第三層包括一層卷積層和一層最大池化層，第四層包括三層卷積層和一層最大池化層，第五層包括一層卷積層，其中：第二層至第四層的卷積層均跟隨有一層批歸一化層和一層RELU激活函數(shù)層，第五層的卷積層跟隨有一層批歸一化層和一層Tanh激活函數(shù)層。

8.根據(jù)權(quán)利要求6所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別方法，其特征在于：將上述每個(gè)像素的原始位置坐標(biāo)做歸一化處理獲得每個(gè)像素的歸一化坐標(biāo)的步驟包括：

獲取原始圖片的寬度w和高度h，將每個(gè)像素的原始位置坐標(biāo)分別除以[w/2,h/2]獲得歸一化坐標(biāo)。

9.根據(jù)權(quán)利要求4所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別方法，其特征在于：所述識(shí)別上述規(guī)則文本圖片并輸出相對應(yīng)的文本信息的步驟中：所述文本識(shí)別網(wǎng)絡(luò)采用編碼器-解碼器結(jié)構(gòu)，編碼器采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，解碼器采用雙向LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)，并結(jié)合注意力機(jī)制，最終獲得基于字符概率分布的輸出。

10.根據(jù)權(quán)利要求4所述的基于修正網(wǎng)絡(luò)的不規(guī)則文本識(shí)別方法，其特征在于：所述文本修正網(wǎng)絡(luò)和文本識(shí)別網(wǎng)絡(luò)的建立包括如下步驟：

搭建文本修正網(wǎng)絡(luò)結(jié)構(gòu)：基于卷積神經(jīng)網(wǎng)絡(luò)搭建文本修正網(wǎng)絡(luò)的預(yù)測網(wǎng)路，以不規(guī)則文本圖片的像素值為輸出，搭建五層結(jié)構(gòu)層，第一層包括一層最大池化層組成，第二層包括一層卷積層和一層最大池化層，第三層包括一層卷積層和一層最大池化層，第四層包括三層卷積層和一層最大池化層，第五層包括一層卷積層，其中：第二層至第四層的卷積層均跟隨有一層批歸一化層和一層RELU激活函數(shù)層，第五層的卷積層跟隨有一層批歸一化層和一層Tanh激活函數(shù)層，輸出為兩通道的偏差預(yù)測信息；

搭建文本識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)：基于編碼器-解碼器結(jié)構(gòu)建立文本識(shí)別網(wǎng)絡(luò)，基于卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)搭建編碼器，基于雙向LSTM搭建解碼器，結(jié)合注意力機(jī)制，基于字符概率分布輸出字符；

建立數(shù)據(jù)集：選擇數(shù)據(jù)集，并將數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

網(wǎng)絡(luò)訓(xùn)練：采用課程學(xué)習(xí)的策略對文本修正網(wǎng)絡(luò)和文本識(shí)別網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)，通過規(guī)則文本圖片先對文本識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后固定文本識(shí)別網(wǎng)絡(luò)，通過不規(guī)則文本對文本修正網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后采用端到端的方式同時(shí)訓(xùn)練文本修正網(wǎng)絡(luò)和文本識(shí)別網(wǎng)絡(luò)。