[發明專利]基于神經網絡和注意力機制結合的文字識別系統及方法

有效

• 申請號: 201811230112.0
• 申請日: 2018-10-22
• 公開（公告）號: CN109389091B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 楊宏志;龐宇;王慧倩
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V30/41;G06V10/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

本發明請求保護一種基于神經網絡和注意力機制結合的文字識別系統及方法，具體包括：卷積神經網絡特征提取模塊，用于文字圖像的空間特征；將卷積神經網絡提取的空間特征輸入到雙向長短期記憶網絡模塊，雙向長短期記憶網絡能夠提取文字的序列特征；將提取的特征向量進行語義編碼，然后通過注意力機制分配特征向量的注意力權值，讓注意力集中在權值較高的特征向量；模型的解碼部分，通過嵌套長短期記憶網絡實現，將注意力提取到的特征和前一時刻的預測信息作為嵌套長短期記憶網絡的輸入，前后均采用長短期記憶網絡的目的是為了保持特征向量的時間特性，使模型注意位置點隨著時間不斷變化；本發明能夠更準確的檢測自然場景中的文字區域，并且對小目標文字和傾斜角度小的文本有很好的檢測效果。

技術領域

本發明屬于自然場景中的文字圖像識別，涉及卷積神經網絡、長短期記憶網絡和注意力機制相結合的相關算法。

背景技術

自然場景就是我們所處的生活壞境，自然場景圖像中包含了各種各樣的視覺信息，如文字、汽車、風景、生物體及建筑景觀等內容，這些元素信息構成了自然場景內容的主要成分。

自然場景下的數字識別屬于自然場景下文本識別的范疇，對自然場景下文本識別問題的研究始于上個世紀90年代，但是直到現在仍然是一個沒有解決的難題。一般來說，自然場景下的文本識別任務包含兩部分：文本區域檢測和文本識別。文本識別是在檢測的基礎上進行識別,將檢測到的文本框作為識別輸入。隨著深度學習發展，檢測作為最早研究的領域，相關技術較為成熟，因此，能夠決定識別效果就是識別算法的設計，目標識別是目前深度學習領域較為活躍的領域，各種層出不窮的應用應運而生，文字作為日常常見的視覺信息，具有重要的研究意義，同時提高文字的識別準確率對于NLP領域也有很大的幫助。但由于自然場景文字位置、形變、光照等多方面因素，而且自然場景字符的背景也相當復雜，所以對識別存在諸多需要攻克的技術難點。

目前很多研究方法大都是基于自上而下的算法模型，Jaderberg等人設計了一個基于卷積神經網絡和結構化的輸出方法對文字進行端到端識別，但是需要固定文本的長度，對長序列的文本識別效果不好，Shi等人提出了一種基于“卷積神經網絡+循環神經網絡+序列分類”的端到端的識別方法，但該方法對復雜的文字圖像識別效果不好。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種能夠更準確的檢測自然場景中的文字區域，并且對小目標文字和傾斜角度小的文本有很好的檢測效果的基于神經網絡和注意力機制結合的文字識別系統及方法。本發明的技術方案如下：

一種基于神經網絡和注意力機制結合的文字識別系統，其包括：特征提取模塊、編碼和注意力模塊及解碼模塊，其中，特征提取模塊采用的是卷積神經網絡和雙向長短期記憶網絡相結合的結構，(所述卷積神經網絡用于提取文字圖像的空間特征；所述雙向長短期記憶網絡用于提取文字的序列特征；)

編碼和注意力模塊，用于對雙向長短期記憶網絡編碼階段的隱藏狀態h_i進行加權求和，獲取不同時刻的注意力權值，然后通過注意力聚焦對當前時刻的輸出作預測；)

解碼模塊采用的是嵌套長短期記憶網絡，解碼部分是對編碼生成的中間語義信息進行解析，解碼需要利用注意力機制對編碼的狀態進行注意力聚焦，然后通過嵌套長短期記憶網絡學習過去某時刻的解碼信息，用于提取文本的序列信息，通過前一時刻的狀態預測當前時刻的輸出。

進一步的，所述卷積神經網絡模塊包括卷積層1、池化層1、卷積組2、卷積層3、池化層2、卷積層4、池化層3、批量標準層、卷積層5、池化層4、批量標準層、Dropout層組成。