[發明專利]表格標準化處理方法、裝置、設備及存儲介質

有效

• 申請號: 202110441015.1
• 申請日: 2021-04-23
• 公開（公告）號: CN113033170B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 戚思驊
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F40/18
• 分類號: G06F40/18;G06F40/194;G06F40/258;G06F16/335;G06F16/35
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 姚澤鑫

本申請提供了一種表格標準化處理方法，包括：獲取N行M列的待處理的表格；從表格的第1行開始對相鄰兩行的文本進行相似度檢測，檢測到第i行和第i+1行的文本不一致時，確定第1行到第i行為標題行且第i+1行至第N行為數據行，1≤i≤N?1；從表格的第1列開始對相鄰兩列的文本進行相似度檢測，檢測到第j列和第j+1行的文本不一致時，確定第1列到第j列為標題列，第j+1列至第M列為數據列，1≤j≤M?1；對確定的標題行和標題列中的標題文本進行分類篩選得到預設的標準化標題；根據標準化標題和標準化標題在待處理的表格中對應的數據，得到待處理的表格的標準化表格。本申請提供的方法可以降低表格標準化處理方法的復雜度。

技術領域

本申請屬于數據處理技術領域，尤其涉及表格標準化處理方法、裝置、設備及存儲介質。

背景技術

表格是一種常見的數據統計方式，企業可以根據表格中的數據了解各項業務的運營狀態及客戶喜好等信息，并根據這些信息做出相應的決策。但是不同存儲類型的表格中的數據格式存在差異，將這些表格進行標準化處理需要耗費大量的人力。并且表格中還存在一些不相關的冗余信息，不利于企業對表格中的數據進行分析。

識別表格中的標題部分和數據部分是表格標準化處理方法中的關鍵步驟。現有的對表格的數據部分和標題部分的識別方法包括：首先識別表格中的每個單元格，然后提取每個單元格中的文本，最后基于各類算法對每個文本進行分類和標準化處理。由于這類方法需要對每個單元格中的文本進行分類，從而判斷每個文本屬于標題部分還是數據部分，算法的復雜度較高。

發明內容

本申請實施例提供了表格標準化處理方法、裝置、設備及存儲介質，可以降低表格標準化處理方法的復雜度。

第一方面，本申請實施例提供了一種表格標準化處理方法，該方法包括：

獲取待處理的表格，待處理的表格包括N行M列；從待處理的表格中的第1行開始，對相鄰兩行的文本進行相似度檢測，直至檢測到第i行和第i+1行的文本不一致時，確定第1行到第i行為標題行，且第i+1行至第N行為數據行，1≤i≤N-1；從待處理的表格中的第1列開始，對相鄰兩列的文本進行相似度檢測，直至檢測到第j列和第j+1行的文本不一致時，確定第1列到第j列為標題列，第j+1列至第M列為數據列，1≤j≤M-1；對確定的標題行和標題列中的標題文本進行分類篩選處理，得到預設的標準化標題；根據標準化標題和標準化標題在待標準化的表格中對應的數據，得到待處理的表格的標準化表格。

基于本申請提供的表格標準化處理方法，利用表格中標題文本與數據文本之間的差異，從待處理的表格的前兩行或者前兩列開始檢測相鄰文本之間的相似度，一旦檢測到文本不一致，則認為識別到了待處理的表格中的數據部分和標題部分，因此不需要對待標準化表格中剩余的行或列進行檢測，降低了算法的復雜度。然后確定每個標題文本的類別并對每個標題文本進行篩選處理，根據需求去除標題文本中的冗余信息，得到標準化的標題。按照標準庫中的種類對待處理的表格中的每個標題行和標題列進行分類和標準化，去除冗余信息。最終將待處理的表格中的數據及其對應的標準化的標題行和標題列存儲到數據庫中，便于企業對數據進行分析。

可選地，待處理的表格中任一相鄰兩行的文本為一組文本對，所述待處理的表格中任一相鄰兩列的文本為一組文本對，對待處理的表格的任一文本對進行相似度檢測的方法，包括：

將文本對中的第一文本和第二文本輸入到已訓練的相似度檢測模型中進行處理，得到第一文本和第二文本的相似度檢測結果，相似度檢測結果指示第一文本和第二文本一致或者不一致，第一文本和第二文本為待處理的表格中的相鄰兩行的文本或者相鄰兩列的文本；

其中，相似度檢測模型包括預訓練語言模型、交叉注意層和全連接層，利用相似度檢測模型對文本對進行處理包括：