[發明專利]文本檢測方法、裝置及電子設備

在審

• 申請號: 201811323981.8
• 申請日: 2018-11-07
• 公開（公告）號: CN109492638A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 謝恩澤;邵帥
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06N3/04
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 蘇勝

1.一種文本檢測方法，其特征在于，包括：

通過特征提取網絡提取待檢測圖像的特征圖；

將所述特征圖輸入文本檢測網絡，根據所述文本檢測網絡的輸出結果確定所述待檢測圖像中的文本區域；所述文本檢測網絡至少包括掩膜子網絡，所述掩膜子網絡用于將所述特征圖中的文本區域與背景區域進行分割，輸出所述特征圖中的文本區域對應的文本掩膜。

2.根據權利要求1所述的方法，其特征在于，所述特征提取網絡包括殘差網絡和特征金字塔網絡，通過特征提取網絡提取待檢測圖像的特征圖的步驟，包括：

將所述待檢測圖像輸入所述殘差網絡，得到所述殘差網絡輸出的多個尺度的特征響應圖；

將所述多個尺度的特征響應圖輸入所述特征金字塔網絡，得到所述特征金字塔網絡輸出的多個尺度的特征圖；所述特征金字塔網絡包括多個網絡層，每個所述網絡層對應輸入一種尺度的特征響應圖，輸出對應尺度的特征圖。

3.根據權利要求1所述的方法，其特征在于，根據所述文本檢測網絡的輸出結果確定所述待檢測圖像中的文本區域的步驟，包括：

獲取預先配置的輸出框的類型；

如果所述輸出框的類型為水平框，獲取所述文本檢測網絡輸出的文本掩膜對應的最小外接水平框，將所述最小外接水平框覆蓋的區域作為所述待檢測圖像中的文本區域；

如果所述輸出框的類型為傾斜框，獲取所述文本檢測網絡輸出的文本掩膜對應的帶有傾斜角度的最小傾斜矩形框，將所述最小傾斜矩形框覆蓋的區域作為所述待檢測圖像中的文本區域。

4.根據權利要求1或2所述的方法，其特征在于，所述文本檢測網絡還包括分類子網絡和/或回歸子網絡；所述分類子網絡用于判斷所述特征圖中是否包含文本區域，輸出所述特征圖的分類結果；所述回歸子網絡用于確定所述特征圖中的水平文本區域的位置，輸出包含水平文本區域的包圍框。

5.根據權利要求4所述的方法，其特征在于，如果所述文本檢測網絡包括分類子網絡、回歸子網絡和掩膜子網絡，所述分類子網絡、所述回歸子網絡和所述掩膜子網絡并行；所述特征金字塔網絡的每個網絡層分別與并行的分類子網絡、回歸子網絡和掩膜子網絡連接。

6.根據權利要求5所述的方法，其特征在于，根據所述文本檢測網絡的輸出結果確定所述待檢測圖像中的文本區域的步驟，包括：

結合所述分類子網絡、所述回歸子網絡和所述掩膜子網絡的輸出結果，確定所述待檢測圖像中的文本區域。

7.根據權利要求1～6中任一項所述的方法，其特征在于，所述通過特征提取網絡提取待檢測圖像的特征圖的步驟之前，所述方法還包括：

獲取訓練圖像樣本集；所述訓練圖像樣本集包括多張訓練圖像；

采用所述訓練樣本集對所述特征提取網絡和所述文本檢測網絡進行訓練。

8.根據權利要求7所述的方法，其特征在于，所述訓練圖像攜帶有預先設置的分類標簽、回歸標簽和掩膜標簽；所述文本檢測網絡包括分類子網絡、回歸子網絡和掩膜子網絡；采用所述訓練樣本集對所述特征提取網絡和所述文本檢測網絡進行訓練的步驟，包括：

從所述訓練圖像樣本集中隨機選取訓練圖像，通過所述特征提取網絡提取所述訓練圖像的特征圖；

將所述訓練圖像的特征圖輸入所述文本檢測網絡；

通過所述分類子網絡對所述訓練圖像的特征圖進行分類處理，基于所述分類子網絡輸出的分類處理結果和所述分類標簽確定分類損失值；

通過所述回歸子網絡對所述訓練圖像的特征圖進行回歸處理，基于所述回歸子網絡輸出的回歸處理結果和所述回歸標簽確定回歸損失值；

通過所述掩膜子網絡對所述訓練圖像的特征圖進行掩膜處理，基于所述掩膜子網絡輸出的掩膜處理結果和所述掩膜標簽確定掩碼損失值；

基于所述分類損失值、所述回歸損失值和所述掩膜碼損失值對所述特征提取網絡和所述文本檢測網絡進行訓練。