[發明專利]基于特征的文本檢測方法及裝置

在審

• 申請號: 202110262507.4
• 申請日: 2021-03-10
• 公開（公告）號: CN113065548A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 劉義江;李云超;姜琳琳;吳彥巧;姜敬;檀小亞;師孜晗;陳蕾;侯棟梁;池建昆;范輝;閻鵬飛;魏明磊;辛銳;陳曦;楊青;沈靜文
• 申請（專利權）人: 國網河北省電力有限公司;國網河北省電力有限公司雄安新區供電公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06K9/00;G06N3/04
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 呼春輝

1.一種基于特征的文本檢測方法，其特征在于：基于依次連接的第一神經網絡和區域生成網絡，所述第一神經網絡包括以基礎網絡去掉最后的全連接層后接特征金字塔網絡，包括如下步驟，S1語義分割，處理器從存儲器獲取圖片，通過第一神經網絡從圖片中獲取含有全局特征的第一特征圖；S2特征融合，處理器獲取到經第一神經網絡和區域生成網絡形成的感興趣區域、對齊感興趣區域并獲得相同大小的第二特征圖和第三特征圖，第二特征圖為帶有檢測需要信息的感興趣區域，第三特征圖為帶有掩碼需要信息的感興趣區域，處理器將第一特征圖與第二特征圖融合并獲得通道信息融合后的第四特征圖，處理器將第一特征圖與第三特征圖融合并獲得通道信息融合后的第五特征圖；S3檢測，處理器對第四特征圖進行類別預測和邊框精修并獲取水平矩形框；S4掩碼，處理器對第五特征圖卷積操作并獲取相應的掩碼圖。

2.根據權利要求1所述的基于特征的文本檢測方法，其特征在于：在步驟S1中，處理器通過第一神經網絡從圖片中獲取全局的分割圖；在步驟S3中，處理器對第四特征圖進行類別預測和邊框精修并獲取感興趣區域的二分類信息和邊框回歸信息；在步驟S4中，處理器對第五特征圖卷積操作并獲取相應的局部分割圖。

3.根據權利要求2所述的基于特征的文本檢測方法，其特征在于：還包括S5弱監督的步驟，處理器獲取到區域生成網絡形成的感興趣區域對應圖片的四個頂點的坐標信息，獲取到語義分割模塊形成的全局的分割圖，獲取到檢測模塊形成的感興趣區域的二分類信息和邊框回歸信息，獲取到掩碼模塊形成的局部分割圖，通過模型M在弱監督的訓練模式下完成訓練，模型M為在有字符和單詞標注的數據集上訓練得到的一個初始模型。

4.根據權利要求3所述的基于特征的文本檢測方法，其特征在于：在步驟S5中，模型M為在有字符和單詞標注的數據集上訓練得到的一個初始模型。

5.一種基于特征的文本檢測裝置，其特征在于：包括依次連接的第一神經網絡和區域生成網絡以及語義分割模塊、檢測模塊、掩碼模塊和特征融合模塊共四個程序模塊，所述第一神經網絡包括以基礎網絡去掉最后的全連接層后接特征金字塔網絡；語義分割模塊，用于處理器從存儲器獲取圖片，通過第一神經網絡從圖片中獲取含有全局特征的第一特征圖；特征融合模塊，用于處理器獲取到經第一神經網絡和區域生成網絡形成的感興趣區域、對齊感興趣區域并獲得相同大小的第二特征圖和第三特征圖，第二特征圖為帶有檢測需要信息的感興趣區域，第三特征圖為帶有掩碼需要信息的感興趣區域，處理器將第一特征圖與第二特征圖融合并獲得通道信息融合后的第四特征圖，處理器將第一特征圖與第三特征圖融合并獲得通道信息融合后的第五特征圖；檢測模塊，用于處理器對第四特征圖進行類別預測和邊框精修并獲取水平矩形框；掩碼模塊，用于處理器對第五特征圖卷積操作并獲取相應的掩碼圖。

6.根據權利要求5所述的基于特征的文本檢測裝置，其特征在于：語義分割模塊，還用于處理器通過第一神經網絡從圖片中獲取全局的分割圖；檢測模塊，還用于處理器對第四特征圖進行類別預測和邊框精修并獲取感興趣區域的二分類信息和邊框回歸信息；掩碼模塊，還用于處理器對第五特征圖進行卷積操作并獲取相應的局部分割圖。

7.根據權利要求6所述的基于特征的文本檢測裝置，其特征在于：還包括弱監督模塊，弱監督模塊為程序模塊，用于處理器獲取到區域生成網絡形成的感興趣區域在對應圖片中的四個頂點的坐標信息，獲取到語義分割模塊形成的全局的分割圖，獲取到檢測模塊形成的感興趣區域的二分類信息和邊框回歸信息，獲取到掩碼模塊形成的局部分割圖，通過模型M在弱監督的訓練模式下完成訓練，模型M為在有字符和單詞標注的數據集上訓練得到的一個初始模型。

8.根據權利要求7所述的基于特征的文本檢測裝置，其特征在于：在弱監督模塊中，模型M為在有字符和單詞標注的數據集上訓練得到的一個初始模型。