[發明專利]一種表格分析數據集的配置方法、系統及介質

有效

• 申請號: 202110913230.7
• 申請日: 2021-08-10
• 公開（公告）號: CN113792042B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 孫成通;郭繼東;胡焱;牛鵬
• 申請（專利權）人: 浪潮金融信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發明公開了一種表格分析數據集的配置方法、系統及介質，所述方法包括以下步驟：獲取源文檔，識別源文檔的文檔類型，基于文檔類型獲取源文檔的源代碼數據；設定識別碼，基于識別碼對源代碼數據進行篩選處理操作，得到結構源碼，基于結構源碼創建邏輯關系庫；基于表格樣式數據庫和源代碼數據獲取第一樣式信息和第二樣式信息；基于第一樣式信息、第二樣式信息、大數據分析程序和基準頻率創建高頻樣式庫和低頻樣式庫；基于邏輯關系庫、高頻樣式庫、低頻樣庫集和結構樹模板構建表格結構樹；獲取算法模型，基于表格結構樹、格式轉換程序和算法模型配置分析數據集；本發明能夠構建一個質量更高、規模較大且具有較高魯棒性的表格分析數據集。

技術領域

本發明涉及人工智能數據集配置技術領域，特別是涉及一種表格分析數據集的配置方法、系統及介質。

背景技術

現有技術中所采用的表格分析數據集的魯棒性較差，其無法對于表格的布局變化和格式變化相應作出正確的檢測和準確的分析，因此，需要一種效率高、準確性高、適用性強以及具有魯棒性的表格分析數據集來配合深度學習算法對表格進行數據分析。

發明內容

本發明主要解決的是現有技術中所采用的表格分析數據集的魯棒性較差，其無法對于表格的布局變化和格式變化相應作出正確檢測和準確分析的問題。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種表格分析數據集的配置方法，包括以下步驟：

獲取源代碼：

獲取源文檔，識別所述源文檔的文檔類型，基于所述文檔類型獲取所述源文檔的源代碼數據；

創建表格結構樹：

設定識別碼，基于所述識別碼對所述源代碼數據進行篩選處理操作，得到結構源碼，基于所述結構源碼創建邏輯關系庫；

配置表格樣式數據庫，基于所述表格樣式數據庫和所述源代碼數據獲取第一樣式信息和第二樣式信息；

配置大數據分析程序，設置基準頻率，基于所述第一樣式信息、所述第二樣式信息、所述大數據分析程序和所述基準頻率創建高頻樣式庫和低頻樣式庫；

配置結構樹模板，基于所述邏輯關系庫、所述高頻樣式庫、所述低頻樣庫集和所述結構樹模板構建所述表格結構樹；

配置分析數據集：

配置格式轉換程序，獲取算法模型，基于所述表格結構樹、所述格式轉換程序和所述算法模型配置所述分析數據集。

作為一種改進的方案，所述基于所述文檔類型獲取所述源文檔的源代碼數據的步驟進一步包括：

若所述文檔類型為編輯類文檔，則獲取所述源文檔的數據層代碼，并設定所述數據層代碼為所述源代碼數據；

若所述文檔類型為排版類文檔，則獲取與所述源文檔對應的排版文件，訪問預打印數據庫中與所述排版文件相匹配的文件源碼，并設定所述文件源碼為所述源代碼數據。

作為一種改進的方案，所述篩選處理操作包括：

調用解壓縮算法對所述源代碼數據進行解壓處理，得到解壓文件；

在所述解壓文件的數據包中提取與所述識別碼相匹配的標識性文件；

識別所述標識性文件的標識源碼，并在所述標識源碼中提取若干表格格式代碼段，整合若干所述表格格式代碼段，得到所述結構源碼。

作為一種改進的方案，所述基于所述結構源碼創建邏輯關系庫的步驟進一步包括：

識別所述結構源碼中的行源碼和列源碼，提取所述行源碼的第一位置標記參數和所述列源碼的第二位置標記參數，基于所述第一位置標記參數和所述第二位置標記參數計算表格位置數據；