[發明專利]一種基于深度神經網絡的文本檢測目標提取關系的端到端方法

在審

• 申請號: 202010350060.1
• 申請日: 2020-04-28
• 公開（公告）號: CN111539416A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 叢建亭;侯進;黃賢俊
• 申請（專利權）人: 深源恒際科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06K9/62
• 代理公司: 北京智沃律師事務所 11620
• 代理人: 吳志宏

1.一種基于深度神經網絡的文本檢測目標提取關系的端到端方法，其特征在于，在現有的基于深度神經網絡的二階段的目標檢測算法的第二階段結構流程中增加檢測目標的匹配關系判斷模塊，從而實現檢測目標是否匹配的訓練和預測。

2.根據權利要求1所述的文本檢測目標提取關系的端到端方法，其特征在于，所述檢測目標的匹配關系判斷模塊只針對前景roi特征序列相互之間的匹配關系進行判斷。

3.根據權利要求2所述的文本檢測目標提取關系的端到端方法，其特征在于，所述前景roi特征序列和背景roi特征序列的確定方法具體為：通過該roi的位置坐標與真值位置的iou交集來確定，當iou交集高于0.50時認定是前景，低于0.50時則認定是背景。

4.根據權利要求1所述的文本檢測目標提取關系的端到端方法，其特征在于，所述檢測目標的匹配關系判斷模塊具體包括以下流程：

(1)獲取前景roi序列特征；

(2)將任意兩個前景roi特征聯接；

(3)基于標注真值判斷聯接的兩個前景roi特征是否存在匹配關系，如果匹配，則訓練的類別標簽設置成1，如果不匹配，則訓練的類別標簽設置成0；

(4)將聯接后的特征向量再經過特征提取網絡，并進行分類識別，從而實現任意兩個拼接的前景roi特征判斷。

5.根據權利要求4所述的文本檢測目標提取關系的端到端方法，其特征在于，所述步驟(2)中每個roi特征形狀是1*1*1024，將這兩個特征進行concat聯接，從而得到聯接后的特征向量形狀是1*1*2048。

6.根據權利要求1所述的文本檢測目標提取關系的端到端方法，其特征在于，所述文本檢測基礎框架為任意的二階段的目標檢測算法。

7.根據權利要求1所述的文本檢測目標提取關系的端到端方法，其特征在于，所述文本檢測基礎框架為Faster RCNN、R2CNN、mask_rcnn中的一種。

8.根據權利要求1所述的文本檢測目標提取關系的端到端方法，其特征在于，基于Faster RCNN框架下，在第二階段的RCNN網絡結構流程中增加檢測目標的匹配關系判斷模塊。

9.根據權利要求8所述的文本檢測目標提取關系的端到端方法，其特征在于，具體流程如下：

(1)輸入圖像；

(2)第一階段：通過RPN網絡提取目標候選區域，生成roi特征序列；

(3)第二階段：第一階段RPN網絡推送的roi特征序列進入第二階段RCNN網絡分離出前景roi特征序列和背景roi特征序列，然后通過文本檢測目標匹配關系判斷模塊對前景roi特征序列相互之間的匹配關系進行判斷。

10.根據權利要求9所述的文本檢測目標提取關系的端到端方法，其特征在于，具體包括以下步驟：

(1)輸入圖像；

(2)第一階段：通過RPN網絡提取目標候選區域，生成roi特征序列；

(3)第二階段：第一階段RPN網絡推送的roi特征序列進入第二階段RCNN網絡，通過roi的位置坐標與真值位置的iou交集來確定來分離出前景roi特征序列和背景roi特征序列，當iou交集高于0.50時認定是前景，低于0.50時則認定是背景；然后隨機篩選出兩個前景roi特征，每個roi特征形狀是1*1*1024，將這兩個特征進行concat聯接，從而得到聯接后的特征向量形狀是1*1*2048；對于任意兩個拼接的前景roi特征，基于標注真值判斷這兩個前景roi特征是否存在匹配關系，如果匹配，則訓練的類別標簽設置成1，如果不匹配，則訓練的類別標簽設置成0；將第2步的特征向量再經過全連接或卷積層特征提取網絡，再送入softmax分類識別，最終輸出文本檢測結果。