[發明專利]基于目標檢測的文本分類識別方法及裝置

在審

• 申請號: 202010922482.1
• 申請日: 2020-09-04
• 公開（公告）號: CN112036395A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 李輝;武亞強;蔡明祥;羅英文
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 姚璐華

1.一種基于目標檢測的文本分類識別方法，所述方法包括：

獲取預覽圖像中目標對象的目標區域；

對所述目標區域進行文本識別處理，得到所述目標對象包含的多個文本子區域各自的文本位置信息和文本內容信息，其中，所述目標對象的文本內容能夠劃分成具有嵌套關系的多個文本區域，每一個所述文本區域包含至少一個所述文本子區域，且所述多個文本區域之間不存在重復的所述文本子區域；

對所述目標區域進行圖像特征提取，利用得到的特征圖及所述多個文本子區域各自的文本位置信息，得到相應文本子區域的文本圖像特征；

依據所述多個文本子區域各自的所述文本位置信息、所述文本內容信息及所述文本圖像特征，對所述多個文本子區域進行分類處理，得到所述目標對象的分類識別結果；其中，所述分類識別結果包含所述多個文本子區域各自的分類信息，所述分類信息能夠用于確定相應所述文本子區域所屬的所述文本區域。

2.根據權利要求1所述的方法，所述依據所述多個文本子區域各自的所述文本位置信息、所述文本內容信息及所述文本圖像特征，對所述多個文本子區域進行分類處理，得到所述待處理文檔的分類識別結果，包括：

由任一所述文本子區域對應的所述文本位置信息、所述文本內容信息和所述文本圖像特征，構成一個網絡節點特征；

利用所述多個文本子區域各自對應的所述文本位置信息，得到不同所述文本子區域之間的位置偏移信息；

利用所述位置偏移信息，獲得相應兩個所述文本子區域之間的網絡邊特征；

依據多個所述網絡節點特征和多個所述網絡邊特征，對所述多個文本子區域進行分類處理，得到所述目標對象的分類識別結果。

3.根據權利要求1所述的方法，所述方法還包括：

對所述目標區域進行語義分割處理，得到所述目標對象的語義分割信息；

利用所述多個文本子區域各自的分類信息及所述語義分割信息，得到所述多個文本子區域組成的多個文本區域各自的位置信息，以及所述多個文本區域之間的嵌套關系；

由所述多個文本區域各自的位置信息及所述嵌套關系，獲得所述目標對象的排版信息。

4.根據權利要求1～3任一項所述的方法，所述獲取預覽圖像中目標對象的目標區域，包括：

獲取預覽圖像的邊緣信息及目標對象的待定區域，所述邊緣信息包含多條不同方向的邊緣線；

基于所述待定區域的區域形狀特征，選擇相應數量的不同方向的邊緣線構成多個候選邊緣框；

利用與所述待定區域相匹配的候選邊緣框，對所述待定區域進行校準，得到所述預覽圖像中相應目標對象的目標區域。

5.根據權利要求4所述的方法，所述獲取預覽圖像的邊緣信息及目標對象的待定區域，包括：

獲取預覽圖像的邊緣掩膜及前景分割掩膜；

通過連通域檢測方式，將所述前景分割掩膜所包含的每個連通域確定為一個目標對象的待定區域；

檢測所述邊緣掩膜包含的多條不同方向的邊緣線。

6.根據權利要求1～3任一項所述的方法，所述獲取預覽圖像中目標對象的目標區域，包括：

獲取上一幀預覽圖像中目標對象的目標區域的第一形狀特征；

確定與所述第一形狀特征相匹配的目標圖像映射區域；

將當前幀預覽圖像輸入具有所述目標圖像映射區域的目標檢測模型，得到當前幀預覽圖像中所述目標對象的目標區域，所述目標檢測模型具有空洞空間金字塔結構。

7.根據權利要求6所述的方法，所述確定與所述第一形狀特征相匹配的目標圖像映射區域，包括：

獲取目標檢測模型中的卷積核的原圖像映射區域的第二形狀特征；

依據所述第一形狀特征與所述第二形狀特征的差異，對所述原圖像映射區域的長寬進行不等比例調整，得到目標圖像映射區域。

8.根據權利要求6所述的方法，所述確定與所述第一形狀特征相匹配的目標圖像映射區域，包括：

從多個具有不同第三形狀特征的卷積核的候選圖像映射區域中，選擇與所述第一形狀特征的匹配度最高的候選圖像映射區域為目標圖像映射區域。