[發明專利]一種文字識別方法、系統及設備

在審

• 申請號: 201910284967.X
• 申請日: 2019-04-10
• 公開（公告）號: CN111814508A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 劉昕冉;郝志會
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京思格頌知識產權代理有限公司 11635
• 代理人: 楊超

1.一種文字識別方法，其特征在于，包括：

使用機器學習模型對文本圖像進行特征提取，生成文本圖像的特征圖；

使用注意力機制Attention模型和長短期記憶網絡LSTM模型逐個識別出所述文本圖像中的文字，具體包括：

將所述文本圖像的特征圖和隱層單元節點特征輸入Attention模型，得到對所述文本圖像中的一個待識別文字進行加權的加權特征圖；

將所述加權特征圖、隱層單元節點特征和文字特征輸入LSTM模型，得到所述待識別文字對應的文字、該文字的文字特征和隱層單元節點特征；

其中，Attention模型和LSTM模型用于識別所述文本圖像中第一個文字時輸入的是預設的隱層單元節點特征、預設的文字特征，用于識別第N個文字時輸入的是已識別出的第N-1個文字的隱層單元節點特征、文字特征，N為大于等于2的整數。

2.如權利要求1所述的方法，其特征在于，在使用機器學習模型對文本圖像進行特征提取之前，還包括：

對所述文本圖像進行圖像預處理，得到正方形的文本圖像。

3.如權利要求2所述的方法，其特征在于，對所述文本圖像進行圖像預處理，得到正方形的文本圖像，具體包括：

對所述文本圖像的輪廓邊界向外擴展，得到所述文本圖像的最小外接正方圖像；

將所述最小外接正方圖像中位于所述文本圖像的輪廓邊界之外的像素點的像素值設置為零，得到正方形的文本圖像。

4.如權利要求1-3任一項所述的方法，其特征在于，所述使用機器學習模型對文本圖像進行特征提取，生成文本圖像的特征圖，包括：

使用機器學習模型對所述文本圖像進行特征提取，得到每個文字的可識別特征；

根據所述每個文字的可識別特征，生成文本圖像的特征圖；

所述文字的可識別特征是文字的下述特征進行融合后的融合特征：

文字的筆畫、邊緣、結構、形狀、大小和顏色。

5.如權利要求1-3任一項所述的方法，其特征在于，將所述文本圖像的特征圖和隱層單元節點特征輸入Attention模型，得到對所述文本圖像中的一個待識別文字進行加權的加權特征圖，包括：

根據隱層單元節點特征，確定文本圖像中一個待識別文字的權重分布矩陣，所述權重分布矩陣的元素與文本圖像的特征圖中像素點的加權值一一對應，且所述權重分布矩陣中的所有加權值的和為1；

根據確定出的權重分布矩陣和所述文本圖像的特征圖，得到對所述待識別文字進行加權的加權特征圖。

6.如權利要求1-3任一項所述的方法，其特征在于，所述將所述加權特征圖、隱層單元節點特征和文字特征輸入LSTM模型，得到所述待識別文字對應的文字、該文字的文字特征和隱層單元節點特征，包括：

對所述加權特征圖、文字特征和隱層單元節點特征進行文字解碼處理，得到所述待識別文字的解碼結果，產生所述待識別文字對應的文字的隱層單元節點特征和文字特征；

確定所述解碼結果與預設的字符集中每個字符的相似度，選取相似度最高的字符作為所述待識別文字對應的文字的識別結果。

7.如權利要求6所述的方法，其特征在于，還包括：LSTM模型輸出文本圖像的最后一個文字識別結果后，輸出截止符號，結束文字識別。