[發明專利]大數據初始化方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010151374.9
• 申請日: 2020-03-06
• 公開（公告）號: CN111444162A
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 李廣翔
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2458;G06F16/25
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種大數據初始化方法，其特征在于，所述方法包括：

從預先構建的數據庫中獲取歷史數據集，并將所述歷史數據集導入到分布式文件系統中；

將導入后的所述歷史數據集映射成數據表集；

根據所述歷史數據集，對所述數據表集中的數據進行缺失值檢測，得到標準數據表集；

通過預設的關聯度依存關系對所述標準數據表集中的數據進行數據分析，得到數據的關鍵字段集；

將所述關鍵字段集隨機分布到所述標準數據表集中，生成隨機落地數據表集；

將所述隨機落地數據表集中的隨機落地數據表按預設條件進行合并，得到初始化數據表集。

2.如權利要求1所述的大數據初始化方法，其特征在于，所述將所述歷史數據集導入到分布式文件系統中，包括：

獲取所述數據庫所在服務器的IP地址及SID號；

根據所述IP地址及所述SID號登錄所述數據庫；

從所述數據庫中獲取所述歷史數據集在所述分布式文件系統上的絕對路徑；

根據所述絕對路徑將所述歷史數據集導入到所述分布式文件系統中。

3.如權利要求1所述的大數據初始化方法，其特征在于，所述將所述歷史數據集導入到分布式文件系統中，包括：

獲取所述歷史數據集中數據的屬性信息；

根據所述屬性信息確定所述歷史數據集中數據的優先級；

根據所述優先級將所述歷史數據集導入到分布式文件系統中。

4.如權利要求2所述的大數據初始化方法，其特征在于，所述將導入后的所述歷史數據集映射成數據表集包括：

利用配置工具將所述歷史數據集映射為數據表；

根據所述歷史數據集在所述分布式文件系統上的絕對路徑檢驗所述歷史數據集是否加載到所述數據表中；

當所述歷史數據集加載到所述數據表中時，利用所述數據表中的數據構建所述數據表集。

5.如權利要求1所述的大數據初始化方法，其特征在于，所述根據所述歷史數據集，對所述數據表集中的數據進行缺失值檢測，得到標準數據表集包括：

采用missmap function函數對所述數據表集中的數據進行缺失值檢測；

當檢測到所述數據表集中沒有缺失值時，將所述數據表集確定為所述標準數據表集；或者

當檢測到所述數據表集中有缺失值時，采用極大似然估計算法對所述缺失值進行填充，得到所述標準數據表集。

6.如權利要求5所述的大數據初始化方法，其特征在于，在采用極大似然估計算法對所述缺失值進行填充，得到所述標準數據表集時，采用如下公式：

其中，L(θ)表示填充的所述缺失值，θ表示所述缺失值對應的概率參數，n表示所述歷史數據集的數量，p(x_i|θ)表示所述缺失值的概率。

7.如權利要求1所述的大數據初始化方法，其特征在于，所述將所述關鍵字段集隨機分布到所述標準數據表集中，生成隨機落地數據表集包括：

確定所述關鍵字段集中關鍵字段的數量；

根據所述關鍵字段的數量生成多個數值，所述多個數值的數量與所述關鍵字段的數量相同；

建立所述多個數值與所述標準數據表集的映射關系；

隨機匹配所述多個數值與所述關鍵字段，得到匹配結果；

根據所述映射關系及所述匹配結果將所述關鍵字段分布到所述標準數據表集中，得到所述隨機落地數據表集。