[發明專利]一種面向辦公場景的光學文字識別方法

在審

• 申請號: 202010010967.3
• 申請日: 2020-01-06
• 公開（公告）號: CN111222572A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 周智
• 申請（專利權）人: 紫光云技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/34
• 代理公司: 天津濱海科緯知識產權代理有限公司 12211
• 代理人: 耿樹志

1.一種面向辦公場景的光學文字識別方法，其特征在于：包括如下步驟：

S1：數據樣本采集，包括數據處理以及原始樣本分割；

S2：文字檢測部分訓練，包括預訓練與再訓練；

S3：文字識別部分訓練，包括標簽生成與訓練；

S4：模型驗證，包括檢測部分驗證和識別部分驗證，并最終得到檢測和識別的分析報告；

S5：改進流程，包括數據質量改進和算法改進。

2.根據權利要求1所述的一種面向辦公場景的光學文字識別方法，其特征在于：所述步驟S1中，數據處理過程包括數據獲取、數據清洗和數據集制作，其中，

數據獲取：向相關部門申請發票數據，在得到采樣許可后進行實地數據采樣，對采集到的數據簡單歸一化整理、并按照采集樣本質量進行打分，完成粗粒度的數據分析；

數據清洗：對粗粒度清洗后的數據進行細粒度的清洗，對于不滿足最低尺度、分辨率和所占比例的圖片予以濾除；

數據集制作：將數據制作成類VOC數據集格式，這個數據集包含以下四項：Annotation裝載著標定的數據、JPEG包含著各個jpg格式的圖像、score包含著對于各個評分檔的數據樣本、layout包含了用于訓練、訓練-驗證和驗證的樣本編號。

3.根據權利要求1所述的一種面向辦公場景的光學文字識別方法，其特征在于：所述步驟S1中，原始樣本分割過程使用訓練得到的模型區分出粗粒度的發票種類。

4.根據權利要求1所述的一種面向辦公場景的光學文字識別方法，其特征在于：所述步驟S2中，

預訓練：在EAST預訓練部分要更改數據集路徑、在多核V100上根據資源調節訓練參數、將前置訓練予以清理，并在tmux下啟動訓練流程、然后訓練得到檢測模型；

再訓練：在EAST再訓練部分要保留前置訓練的checkpoint，然后輸入相關圖像和對應的json文件，restore預訓練的參數完成再訓練。

5.根據權利要求1所述的一種面向辦公場景的光學文字識別方法，其特征在于：所述步驟S3中，

標簽生成：將需要識別的發票放在同一個文件夾地址之下，然后根據檢測結果裁剪出基于QUAD的八點坐標，將這幅子圖和對應的標簽打包形成label和path的文件，然后更改CRNN的訓練標簽集合，以避免預測字符的自動轉義；

訓練：在CRNN預訓練部分要更改數據集路徑、在多核V100上根據資源調節訓練參數、將前置訓練予以清理，并在tmux下啟動訓練流程、然后訓練得到檢測模型。

6.根據權利要求1所述的一種面向辦公場景的光學文字識別方法，其特征在于：所述步驟S40中，

檢測部分驗證：分為查看具體的檢測結果和查看宏觀的檢測指標，具體的檢測結果包括發票的代碼、號碼、日期、時間、里程和金額的畫框；宏觀的檢測指標包括對于字段級別的正確率、回歸率和F1數值；

識別部分驗證：分為查看具體的識別結果和查看宏觀的檢測指標，具體的識別結果包括發票的代碼、號碼、日期、時間、里程和金額的具體字段值；宏觀的檢測指標包括對于字段級別的正確率、回歸率和F1數值。

7.根據權利要求1所述的一種面向辦公場景的光學文字識別方法，其特征在于：所述步驟S5中，

數據質量改進：對于少量樣本的采樣，主取補充發票重采樣策略改進數據質量；對于特定用途的數據樣本，采取數據增強等圖像處理方式進行數據質量改進；

算法改進：分為API圖像處理層級改進和核心算法改進兩個層級，在宏觀上選擇目標檢測+聚類+文字檢測+文字識別的核心算法，在API層面進行圖像的運算操作。

8.一種面向辦公場景的光學文字識別云服務，其特征在于：包括部署基本環境和部署集群環境，

部署基本環境包括部署Docker環境、制作Docker鏡像并上傳到倉庫、以及利用Docker在集群中安裝深度學習鏡像；

部署集群環境包括深度學習集群框架組件安裝、創建K8S部署和服務、調用K8S部署和服務。