[發明專利]表格結構還原方法、裝置、設備、系統和可讀存儲介質

有效

• 申請號: 202010432633.5
• 申請日: 2020-05-20
• 公開（公告）號: CN111626027B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 黃相凱;李喬伊;劉明浩;秦鐸浩;郭江亮
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/18
• 分類號: G06F40/18;G06V30/412;G06V30/14;G06V30/19;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種表格結構還原方法，其特征在于，包括：

獲取目標圖像，所述目標圖像顯示有待還原表格；

提取所述目標圖像的特征圖；

根據所述特征圖，識別所述目標圖像中每個像素點相對于表格結構的相對位置關系，所述表格結構包括行檢測框和列檢測框中的至少一項；

根據所述相對位置關系還原所述待還原表格的表格結構；

其中，所述根據所述特征圖，識別所述目標圖像中每個像素點相對于表格結構的相對位置關系，包括：

根據所述特征圖，識別所述目標圖像中每個像素點是否位于所述表格結構內，是否位于所述表格結構內的設定位置以及與所述表格結構頂點的距離；

其中，所述提取所述目標圖像的特征圖，包括：

通過基于深度學習的表格結構識別模型中的特征提取層，提取所述目標圖像的特征圖；

所述根據所述特征圖，識別所述目標圖像中每個像素點相對于表格結構的相對位置關系，包括：

通過所述表格結構識別模型中的輸出層，根據所述特征圖，識別所述目標圖像中每個像素點相對于表格結構的相對位置關系；

其中，所述根據所述相對位置關系還原所述待還原表格的表格結構，包括：

將相互鄰接的位于所述表格結構內的像素點進行合并，得到表格結構區域；

從所述表格結構區域中，選取位于所述設定位置的像素點集合；

根據所述像素點集合中各像素點距離所述表格結構頂點的距離，計算所述表格結構頂點的位置信息。

2.根據權利要求1所述的方法，其特征在于，所述特征提取層包括：多個特征圖提取單元和多個融合單元；

所述通過基于深度學習的表格結構識別模型中的特征提取層，提取所述目標圖像的特征圖，包括：

通過所述多個特征圖提取單元逐層提取所述目標圖像的特征圖，得到多層特征圖；

通過所述多個融合單元對各層級的特征圖按照由高層至低層的順序逐層進行融合，得到所述目標圖像的特征圖。

3.根據權利要求1所述的方法，其特征在于，所述輸出層包括多個并行的全卷積層；

所述通過所述表格結構識別模型中的輸出層，根據所述特征圖，識別所述目標圖像中每個像素點相對于表格結構的相對位置關系，包括：

通過所述表格結構識別模型中的多個全卷積層，分別對所述特征圖進行全卷積，得到所述特征圖中的每個特征點映射的所述目標圖像中的像素點位于所述表格結構內的置信度，位于所述表格結構內的設定位置的置信度以及與所述表格結構頂點的距離。

4.根據權利要求1所述的方法，其特征在于，在所述獲取目標圖像之后，還包括：

將所述目標圖像添加至訓練樣本集，所述訓練樣本集包括多張顯示有待還原表格的圖像；

獲取所述訓練樣本集中每張圖像的標注，所述標注包括每個像素點相對于表格結構的相對位置關系；

采用所述訓練樣本集和所述標注，對所述表格結構識別模型進行訓練。

5.根據權利要求1所述的方法，其特征在于，所述根據所述像素點集合中各像素點距離所述表格結構頂點的距離，計算所述表格結構頂點的位置信息，包括：

對所述像素點集合中各像素點距離表格結構頂點的距離進行加權平均，得到所述各像素點距離所述表格結構頂點的平均距離；

根據所述平均距離計算所述表格結構頂點的位置信息。

6.根據權利要求1所述的方法，其特征在于，在所述根據所述相對位置關系還原所述待還原表格的表格結構之后，還包括：

對所述目標圖像進行字符識別，得到所述待還原表格中的字符和所述字符的位置信息；

根據所述字符的位置信息和還原得到的所述表格結構，計算所述字符在所述表格結構中的位置信息；

根據所述字符在所述表格結構中的位置信息，將所述字符寫入所述表格結構中。