[發明專利]數據入庫方法、裝置、電子裝置、程序產品及存儲介質

在審

• 申請號: 202110890035.7
• 申請日: 2021-08-04
• 公開（公告）號: CN113535962A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 徐劍炯;馬浩;陳紅貴
• 申請（專利權）人: 城云科技（中國）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/18;G06F40/186;G06F40/194;G06F40/258
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 倪楊

本申請提出了一種數據入庫方法、裝置、電子裝置、程序產品及存儲介質，包括以下步驟：獲取待入庫數據表，將所述待入庫數據表中的每行特征數據轉換為對應的特征標識，其中，所述特征數據用于表示每一目標行號對應的記錄行數據；分別比對每一所述特征標識與預置的每一標識模板的匹配度，基于所述匹配度為滿足匹配條件的所述標識模板創建入庫表；根據所述標識模板對應的表頭字段生成所述入庫表的插入列，將從所述待入庫數據表中提取到的所述特征數據對應插入每一所述插入列中。針對目前結構多變、復雜、相似的表格數據能夠實現自動模板匹配、自動建表、自動入庫的目的，實現流調數據的快速、及時、準確的入庫。

技術領域

本申請涉及大數據挖掘領域，特別是涉及數據入庫方法、裝置、電子裝置、程序產品及存儲介質。

背景技術

在大數據挖掘領域，經常需要對大量的不同結構的表格數據進行快速采集入庫，以支撐后續的數據處理、分析和挖掘。例如疫情的流調過程中，需要對來自公安、鐵路、醫院、社區等各個部門的數據進行入庫分析。由于疫情的特殊性，此類數據有以下特點：數據結構類型多，來自不同部門的數據結構基本都不一樣，都有各自的特點；數據結構變化快，很多數據結構都是摸索階段，會隨著時間的推移，在不同階段會增加、調整；由于不同人員編輯、手工編寫錯誤等原因，導致表格的結構名稱有差異；數據響應時間短，為了防止疫情的大規模傳播，需要對數據進行快速的入庫分析，及時發現問題人員，要求數據能在盡可能短的時間進行入庫……基于以上的特點，實現流調數據的快速、及時、準確的入庫是一項非常困難的事情。

傳統的解決方式主要通過人海戰術，用大量人員進行手工導入，表結構很難統一、管理，或者使用能自定義模板的導入工具進行導入，需要頻繁的新增或修改模板后手工導入，以上方法都存在效率低、用時長、難維護、管理復雜等問題，不能滿足疫情等特殊時期的需要。

現有技術基本是采用人工自定義模板的方式導入，雖然靈活，能適用各種結構的數據，但是由于有需要人工去進行模板的添加和判斷，由于依賴人工的過程多，不僅導致整個數據導入的周期時間變長，而且導入后表的維護和使用非常復雜、效率低、容易出錯，不適應大數據時代數據挖掘的需要，更不適用疫情等特殊時期對數據快速入庫的要求。

綜上，針對相關技術中數據快速動態入庫的實現技術無法適用于快速對當下格式多變、復雜、相似的表格數據進行入庫的問題，目前尚未得到有效的解決方案。

發明內容

本申請實施例提供了一種數據入庫方法、裝置、電子裝置、程序產品及存儲介質，針對目前結構多變、復雜、相似的表格數據能夠實現自動模板匹配、自動建表、自動入庫的目的，實現流調數據的快速、及時、準確的入庫。

第一方面，本申請實施例提供了一種數據入庫方法，所述方法包括：獲取待入庫數據表，將所述待入庫數據表中的每行特征數據轉換為對應的特征標識，其中，所述特征數據用于表示每一目標行號對應的記錄行數據；分別比對每一所述特征標識與預置的每一標識模板的匹配度，基于所述匹配度為滿足匹配條件的所述標識模板創建入庫表；根據所述標識模板對應的表頭字段生成所述入庫表中的插入列，將從所述待入庫數據表中提取到的所述特征數據對應插入每一所述插入列中。

在其中一些實施例中，所述匹配條件包括：在所述特征標識與每一所述標識模板進行遍歷匹配的情況下，選擇所述匹配度最高且高于匹配閾值的所述標識模板；或者在所述特征標識與當前的所述標識模板的匹配度高于匹配閾值的情況下，選擇當前的所述標識模板。

在其中一些實施例中，“將從所述待入庫數據表中提取到的所述特征數據對應插入所述入庫表中的每一所述插入列中”包括：將所述入庫數據表中所述匹配度滿足所述匹配條件的所述特征標識的所在行確定為標題行；從所述標題行后一行的所述特征數據開始提取，將提取到的所述特征數據對應插入所述入庫表中每一所述插入列中。

在其中一些實施例中，獲取模板配置映射表，通過預設轉換方式將所述模板配置映射表的表頭數據轉換成標識模板，其中，所述預設轉換方式還用于將每行所述特征數據轉換為對應的特征標識。