[發明專利]一種版面圖片的處理方法、裝置、設備及存儲介質

在審

• 申請號: 202010943122.X
• 申請日: 2020-09-09
• 公開（公告）號: CN113762260A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 王曉燕;鄭志彤;戴鈺桀;桂創華
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種版面圖片的處理方法，其特征在于，包括：

將版面圖片輸入預先訓練的分割模型，基于所述分割模型對所述版面圖片進行區域分割，以及在分割區域包含表格區域時，對所述表格區域進行直線消除后進行文本分割，輸出所述版面圖片最終分割得到的元素位置和元素分割圖；

將屬于文本類型的元素分割圖進行文字識別，得到文本內容；

按預設展示方式，對所述版面圖片的元素位置、除文本類型外的元素分割圖和所述文本內容進行展示。

2.根據權利要求1所述的方法，其特征在于，所述分割模型包括語義分割分支網絡，直線檢測分支網絡和文本檢測分支網絡；

相應的，所述基于所述分割模型對所述版面圖片進行區域分割，以及在分割區域包含表格區域時，對所述表格區域進行直線消除后進行文本分割，輸出所述版面圖片最終分割得到的元素位置和元素分割圖，包括：

將所述版面圖片輸入所述語義分割分支網絡，基于所述語義分割分支網絡對所述版面圖片進行區域分割，輸出下述至少一種區域分割圖：圖像區域分割圖、表格區域分割圖和文字區域分割圖；

在分割區域包含表格區域時，將所述表格區域分割圖輸入所述直線檢測分支網絡，基于所述直線檢測分支網絡輸出表格直線的位置信息；

基于所述表格直線的位置信息，對所述表格區域圖像進行直線消除；

將消除直線的表格區域分割圖和文字區域分割圖，輸入所述文本檢測分支網絡，基于所述文本檢測分支網絡輸出文本檢測框的位置信息和文本分割圖；

將所述圖像區域分割圖和所述文本分割圖作為元素分割圖進行輸出，將所述圖像區域分割圖的位置信息、所述表格直線的位置信息和所述文本檢測框的位置信息作為元素位置進行輸出。

3.根據權利要求2所述的方法，其特征在于，所述基于所述文本檢測分支網絡輸出文本檢測框的位置信息和文本分割圖，包括：

基于所述文本檢測分支網絡，根據表格直線的位置信息獲取消除直線的表格區域分割圖的文本檢測框；

確定所述文本檢測框的坐標，將所述坐標作為文本檢測框的位置信息進行輸出；

對所述文本檢測框內的文本進行分割，得到文本分割圖并輸出。

4.根據權利要求1所述的方法，其特征在于，所述分割模型的訓練方式，包括：

將所述分割模型的至少一個分支網絡訓練至收斂；

將所述至少一個分支網絡的誤差進行反向傳播，得到所述分割模型的總誤差，并以所述總誤差小于預設閾值為目標，對所述分割模型進行訓練。

5.根據權利要求4中所述的方法，其特征在于，所述將所述至少一個分支網絡的誤差進行反向傳播，得到所述分割模型的總誤差，包括：

將語義分割分支網絡誤差、直線檢測分支網絡誤差、文本檢測分支網絡的文本檢測框的位置信息的檢測誤差，以及文本檢測分支網絡的文本分割誤差，分別與對應的預設常數系數相乘，并將乘積和作為所述分割模型的總誤差。

6.根據權利要求1所述的方法，其特征在于，所述按預設展示方式，對所述版面圖片的元素位置、除文本類型外的元素分割圖和所述文本內容進行展示，包括：

在展示界面中，基于預設格式的位置標識框對所述版面圖片的元素位置進行標識，以及將所述除文本類型外的元素分割圖和所述文本內容呈現在對應的位置標識框中。

7.根據權利要求1-6中任一項所述的方法，其特征在于，還包括：

響應于版面操作指令，對所述版面圖片的元素位置、除文本類型外的元素分割圖和/或文本內容進行操作；其中，所述版面操作指令包括下述至少一種：內容提取指令、編輯指令和版面圖片生成指令。