[發明專利]圖像文本識別方法、裝置、設備及其存儲介質

有效

• 申請號: 201810337609.6
• 申請日: 2018-04-13
• 公開（公告）號: CN108764226B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 馮昊楠;張玉雙;馮新杰;莊思待
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06V30/424
• 分類號: G06V30/424;G06V30/14;G06V30/148;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

1.一種圖像文本識別方法，其特征在于，該方法包括：

獲取待識別圖像，所述待識別圖像為行政許可證書圖片；

將所述待識別圖像輸入到預先構建的圖像文本識別模型中進行文本檢測和文本識別，得到目標識別結果；所述圖像文本識別模型包括圖像文本檢測子模型和圖像文本識別子模型，所述圖像文本檢測子模型用于檢測文本條目對應的區域，所述圖像文本檢測子模型與所述圖像文本識別子模型分別采用深度學習算法訓練得到，其中，采用改進的SSD算法訓練所述圖形文本檢測子模型，所述改進的SSD算法基于所述待識別圖像自身的特點，調整特征提取層的選擇和目標框比例的設置，所述目標識別結果包括與所述待識別圖像中至少一個文本條目相對應的語句信息特征。

2.根據權利要求1所述的方法，其特征在于，所述圖像文本檢測子模型與所述圖像文本識別子模型分別采用深度學習算法訓練得到的，包括：

采用第一深度學習算法訓練得到所述圖像文本檢測子模型；以及

采用第二深度學習算法訓練得到所述圖像文本識別子模型。

3.根據權利要求2所述的方法，其特征在于，所述采用第一深度學習算法訓練得到所述圖像文本檢測子模型，包括：

獲取第一圖像數據集，所述第一圖像數據集包括歷史存儲的行政許可證書圖片；

對所述第一圖像數據集進行增廣處理，得到圖像訓練集；

利用所述圖像訓練集按照所述第一深度學習算法進行訓練學習，得到所述圖像文本檢測子模型，所述圖像文本檢測子模型包括多個特征提取層，所述圖像文本檢測子模型的輸出結果與所述多個特征提取層中位于中間層級的特征提取層相關。

4.根據權利要求3所述的方法，其特征在于，所述采用第二深度學習算法訓練得到所述圖像文本識別子模型，包括：

獲取所述圖像文本檢測子模型的輸出結果，將所述輸出結果作為第一目標訓練集；

獲取根據運單數據中第一項目預先生成的第二圖像數據集，將所述第二圖像數據集作為第二目標訓練集；

利用所述第一目標訓練集和所述第二目標訓練集按照所述第二深度學習算法進行訓練，得到所述圖像文本識別子模型，所述圖像文本識別子模型輸出所述目標識別結果。

5.根據權利要求4所述的方法，其特征在于，所述第二深度學習算法包括深度殘差網絡和長短期記憶神經網絡，且利用所述第一目標訓練集和所述第二目標訓練集按照所述第二深度學習算法進行訓練，包括：

將第一目標訓練集和第二目標訓練集輸入所述深度殘差網絡提取所述第一目標訓練集和所述第二目標訓練集中字符特征向量，所述字符特征向量是由預先生成的高頻字字典來表征；

然后，將所述字符特征向量輸入到所述長短期記憶網絡，訓練得到語句信息特征，將所述語句信息特征作為所述目標識別結果。

6.根據權利要求1-5任一項所述的方法，其特征在于，該方法還包括：

將所述圖像文本識別子模型輸出的語句信息特征和所述圖像文本檢測子模型的輸出結果進行關聯存儲。

7.一種圖像文本識別裝置，其特征在于，該裝置包括：

第一獲取單元，用于獲取待識別圖像，所述待識別圖像為行政許可證書圖片；

文本檢測單元，用于將所述待識別圖像輸入到預先構建的圖像文本識別模型中進行文本檢測和文本識別，得到目標識別結果；所述圖像文本識別模型包括圖像文本檢測子模型和圖像文本識別子模型，所述圖像文本檢測子模型用于檢測文本條目對應的區域，所述圖像文本檢測子模型與所述圖像文本識別子模型分別采用深度學習算法訓練得到，其中，采用改進的SSD算法訓練所述圖形文本檢測子模型，所述改進的SSD算法基于所述待識別圖像自身的特點，調整特征提取層的選擇和目標框比例的設置，所述目標識別結果包括與所述待識別圖像中至少一個文本條目相對應的語句信息特征。

8.根據權利要求7所述的裝置，其特征在于，所述文本檢測單元，包括：

第一訓練子單元，用于采用第一深度學習算法訓練得到所述圖像文本檢測子模型；以及

第二訓練子單元，用于采用第二深度學習算法訓練得到所述圖像文本識別子模型。