[發明專利]一種基于深度神經網絡的文本檢測目標提取關系的端到端方法

在審

• 申請號: 202010350060.1
• 申請日: 2020-04-28
• 公開（公告）號: CN111539416A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 叢建亭;侯進;黃賢俊
• 申請（專利權）人: 深源恒際科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06K9/62
• 代理公司: 北京智沃律師事務所 11620
• 代理人: 吳志宏

本發明公開了一種基于深度神經網絡的文本檢測目標提取關系的端到端方法，屬于計算機視覺技術領域。所述方法在現有的基于深度神經網絡的二階段的目標檢測算法的第二階段結構流程中增加檢測目標的匹配關系判斷模塊，從而實現檢測目標是否匹配的訓練和預測。通過將文字結構化提取做到深度學習網絡結構中，實現端到端的提取功能，從而達到節省提取功能的維護成本目的。本發明所述基于深度神經網絡的方法，在文本檢測中能夠實現端到端的訓練和預測，能夠達到魯棒性強，無需再使用規則庫進行關系提取，從而降低提取關系資源開發和維護成本。

技術領域

本發明屬于計算機視覺技術領域，特別是涉及基于深度神經網絡的文本檢測目標提取關系的端到端方法。

技術背景

OCR(Optical Character Recognition光學字符識別)是指電子設備(例如掃描儀或數碼相機)檢查紙上打印的字符，然后用字符識別方法將文字圖像翻譯成計算機文字的過程。目前，深度學習在圖片識別領域取得非常大的進步。相比傳統的圖片識別方法使用的色彩、HOG等低級視覺特征；深度神經網絡能學得更多高級的、抽象的特征，這使得深度神經網絡的性能遠遠超越傳統方法。特別是，2014年以來，深度學習開始在物體檢測，物體分割等領域取得優秀成果，涌現出Deeplab，YOLO，Faster RCNN，等一序列方法，識別準確率在特定任務上已經超越了人類識別的水平，并在生成環境中得到大規模使用。然而，現有技術中，在文字識別后，通常會對識別結果進行結構化提取，目前大多數結構化提取功能是通過建立規則庫來實現的，例如基于先驗知識的枚舉，模板規則，通常這類方法需要針對具體問題編寫大量代碼，開發和維護成本高，泛化性能差，不夠魯棒，可維護性較差。

發明內容

針對上述技術問題，本發明提出了一種基于深度神經網絡的文本檢測目標提取關系的端到端方法，將文字結構化提取做到深度學習網絡結構中，實現端到端的提取功能，從而達到節省提取功能的維護成本目的。

本發明包含以下技術方案：

一種基于深度神經網絡的文本檢測目標提取關系的端到端方法，在現有的基于深度神經網絡的二階段的目標檢測算法的第二階段結構流程中增加檢測目標的匹配關系判斷模塊，從而實現檢測目標是否匹配的訓練和預測。本方法通過將文本目標匹配關系顯式標注，從而實現文本目標匹配關系的端到端訓練和預測，具有較好的魯棒性，同時維護成本非常低。

作為可選方式，在上述文本檢測目標提取關系的端到端方法中，所述檢測目標的匹配關系判斷模塊只針對前景roi(感興趣區域region of interest)特征序列相互之間的匹配關系進行判斷。

作為可選方式，在上述文本檢測目標提取關系的端到端方法中，所述前景roi特征序列和背景roi特征序列的確定方法具體為：通過該roi的位置坐標與真值位置的iou交集來確定，當iou交集高于0.50時認定是前景，低于0.50時則認定是背景。其中，iou(Intersection-Over-Union)的定義為：兩個矩形框(bounding box)的重疊度，矩形框A、B的重疊度iou計算方法：iou＝(A∩B)/(A∪B),即A、B矩形框的重疊面積與他們面積的并集之比。

作為可選方式，在上述文本檢測目標提取關系的端到端方法中，所述檢測目標的匹配關系判斷模塊具體包括以下流程：

(1)獲取前景roi序列特征；

(2)將任意兩個前景roi特征聯接；

(3)基于標注真值判斷聯接的兩個前景roi特征是否存在匹配關系，如果匹配，則訓練的類別標簽設置成1，如果不匹配，則訓練的類別標簽設置成0；

(4)將聯接后的特征向量再經過特征提取網絡，并進行分類識別，從而實現任意兩個拼接的前景roi特征判斷。