[發明專利]用于識別圖像中的字符的方法、裝置、設備和介質

有效

• 申請號: 201910291030.5
• 申請日: 2019-04-11
• 公開（公告）號: CN110135427B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 郭賀;欽夏孟;韓鈞宇;朱勝賢
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/46;G06K9/62
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 李輝;羅利娜

1.一種識別圖像中的字符的方法，包括：

提取所述圖像的特征表示；

通過對所述特征表示應用注意力機制來確定針對多個字符識別模型的相應的多個注意力特征表示，所述多個字符識別模型分別被配置用于識別多個類型的字符；以及

按照預定順序利用所述多個字符識別模型來分別處理所述多個注意力特征表示，以識別所述圖像中與所述多個類型相關的字符，所述多個字符識別模型中的前一字符識別模型生成的中間處理結果被提供給后一字符識別模型，以供所述后一字符識別模型通過處理所述中間處理結果和相應注意力特征表示來識別相應類型的字符。

2.根據權利要求1所述的方法，其中所述多個字符識別模型按照所述預定順序被訓練得到，并且

其中在所述多個字符識別模型中的前一字符識別模型被訓練到收斂狀態之后，所述前一字符識別模型生成的中間處理結果被提供用于所述后一字符識別模型的訓練。

3.根據權利要求1所述的方法，其中所述多個字符識別模型中的至少一個字符識別模型在第一訓練階段利用合成圖像被訓練，并且在隨后的第二訓練階段利用真實采集圖像被訓練，所述合成圖像通過將所述多個類型的樣本字符合成到背景圖像中而生成。

4.根據權利要求1所述的方法，其中提取所述圖像的特征表示包括：

利用基于卷積神經網絡的模型來提取所述圖像的特征表示。

5.根據權利要求1所述的方法，其中確定所述多個注意力特征表示包括：針對所述多個字符識別模型中的給定字符識別模型，

確定針對所述給定字符識別模型的注意力掩模，所述注意力掩模指示所述特征表示中對該字符識別模型要識別的類型的字符的重要度高于預定閾值的一部分特征信息；以及

通過將所述注意力掩模和所述特征表示組合，來確定針對所述給定字符識別模型的注意力特征表示。

6.根據權利要求1所述的方法，其中所述多個字符識別模型中的至少一個字符識別模型包括基于循環神經網絡的模型。

7.根據權利要求1所述的方法，其中所述多個類型中的至少一個類型對應于所述圖像中至少兩個區域的字符，所述至少兩個區域的字符具有相關聯的語義。

8.一種用于識別圖像中的字符的裝置，包括：

特征提取模塊，被配置為提取所述圖像的特征表示；

注意力機制模塊，被配置為通過對所述特征表示應用注意力機制來確定針對多個字符識別模型的相應的多個注意力特征表示，所述多個字符識別模型分別被配置用于識別多個類型的字符；以及

字符識別模塊，被配置為利用所述多個字符識別模型來分別處理所述多個注意力特征表示，以識別所述圖像中與所述多個類型相關的字符，其中所述字符識別模塊包括：

按順序識別模塊，被配置為按照預定順序利用所述多個字符識別模型來分別處理所述多個注意力特征表示，所述多個字符識別模型中的前一字符識別模型生成的中間處理結果被提供給后一字符識別模型，以供所述后一字符識別模型通過處理所述中間處理結果和相應注意力特征表示來識別相應類型的字符。

9.根據權利要求8所述的裝置，其中所述多個字符識別模型按照所述預定順序被訓練得到，并且

其中在所述多個字符識別模型中的前一字符識別模型被訓練到收斂狀態之后，所述前一字符識別模型生成的中間處理結果被提供用于所述后一字符識別模型的訓練。

10.根據權利要求8所述的裝置，其中所述多個字符識別模型中的至少一個字符識別模型在第一訓練階段利用合成圖像被訓練，并且在隨后的第二訓練階段利用真實采集圖像被訓練，所述合成圖像通過將所述多個類型的樣本字符合成到背景圖像中而生成。

11.根據權利要求8所述的裝置，其中所述特征提取模塊包括：

基于模型的提取模塊，被配置為利用基于卷積神經網絡的模型來提取所述圖像的特征表示。