[發明專利]大數據初始化方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010151374.9
• 申請日: 2020-03-06
• 公開（公告）號: CN111444162A
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 李廣翔
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2458;G06F16/25
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明提供一種大數據初始化方法、裝置、電子設備及存儲介質。該方法能夠將導入到分布式文件系統中的歷史數據集映射成數據表集，提高了數據的容錯性，進一步根據所述歷史數據集，對所述數據表集中的數據進行缺失值檢測，得到標準數據表集，保證了數據準確性和完整性，再通過預設的關聯度依存關系對所述標準數據表集中的數據進行數據分析，得到數據的關鍵字段集，并將所述關鍵字段集隨機分布到所述標準數據表集中，生成隨機落地數據表集，提高了數據處理的速度，進一步將所述隨機落地數據表集中的隨機落地數據表按預設條件進行合并，得到初始化數據表集，實現了對大數據的初始化。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種大數據初始化方法、裝置、電子設備及存儲介質。

背景技術

目前，大數據已經應用到各種應用系統中，且各種應用系統也在根據大數據系統進行升級轉換。例如：對于系統架構升級，在開發技術上僅需要將數據處理模塊替換成大數據的處理技術即可，但是對于歷史數據，則需要做相應的轉換處理。

在進行大數據升級時，通常需要執行系統重構，而歷史數據則需要按照新規則進行初始化，生成符合新系統規則的數據，只是簡單的進行語句堆積會帶來嚴重的性能問題，也無法完成初始化。

發明內容

鑒于以上內容，有必要提供一種大數據初始化方法、裝置、電子設備及存儲介質，能夠實現對大數據的快速初始化，且保證了數據的準確性和完整性，同時提升了數據的容錯性。

一種大數據初始化方法，所述方法包括：

從預先構建的數據庫中獲取歷史數據集，并將所述歷史數據集導入到分布式文件系統中；

將導入后的所述歷史數據集映射成數據表集；

根據所述歷史數據集，對所述數據表集中的數據進行缺失值檢測，得到標準數據表集；

通過預設的關聯度依存關系對所述標準數據表集中的數據進行數據分析，得到數據的關鍵字段集；

將所述關鍵字段集隨機分布到所述標準數據表集中，生成隨機落地數據表集；

將所述隨機落地數據表集中的隨機落地數據表按預設條件進行合并，得到初始化數據表集。

根據本發明優選實施例，所述將所述歷史數據集導入到分布式文件系統中，包括：

獲取所述數據庫所在服務器的IP地址及SID號；

根據所述IP地址及所述SID號登錄所述數據庫；

從所述數據庫中獲取所述歷史數據集在所述分布式文件系統上的絕對路徑；

根據所述絕對路徑將所述歷史數據集導入到所述分布式文件系統中。

根據本發明優選實施例，所述將所述歷史數據集導入到分布式文件系統中，包括：

獲取所述歷史數據集中數據的屬性信息；

根據所述屬性信息確定所述歷史數據集中數據的優先級；

根據所述優先級將所述歷史數據集導入到分布式文件系統中。

根據本發明優選實施例，所述將導入后的所述歷史數據集映射成數據表集包括：

利用配置工具將所述歷史數據集映射為數據表；

根據所述歷史數據集在所述分布式文件系統上的絕對路徑檢驗所述歷史數據集是否加載到所述數據表中；

當所述歷史數據集加載到所述數據表中時，利用所述數據表中的數據構建所述數據表集。

根據本發明優選實施例，所述根據所述歷史數據集，對所述數據表集中的數據進行缺失值檢測，得到標準數據表集包括：