[發明專利]基于大數據的數據存儲方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110206349.0
• 申請日: 2021-02-24
• 公開（公告）號: CN112948380A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 潘倩
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及大數據領域，揭露了一種基于大數據的數據存儲方法，包括：獲取原始數據，對原始數據進行數據清洗，得到標準數據；獲取標準數據的數據量，根據數據量，更新標準數據在對應數據存儲規則表中的初始數據存儲時長；設置標準數據的存儲因子，根據存儲因子及初始數據存儲時長，計算標準數據的數據平均存儲時長；根據存儲因子，對數據存儲規則表進行復制，生成多個數據存儲規則表；配置每個數據存儲規則表的數據存儲時長范圍，基于數據平均存儲時長和數據存儲時長范圍，利用每個數據存儲規則表對標準數據進行數據存儲，得到存儲結果。此外，本發明還涉及區塊鏈技術，所述標準數據可存儲于區塊鏈中。本發明可以提高數據存儲的時效性。

技術領域

本發明涉及大數據領域，尤其涉及一種基于大數據的數據存儲方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

隨著信息科技的發展，數據呈爆炸式增長，會相應帶來許多關于大數據的數據存儲以問題。目前關于數據存儲通常是基于一張字典表，取出字典表中符合數據存儲條件的配置，并循環執行數據處理配置直至待存儲數據存儲結束。但是由于一張字典表中的配置只能執行數據存儲的串行處理，無法執行數據存儲的并行處理，導致數據存儲的總時長與數據量、表結構以及表關聯關系正相關，當字典表配置量隨時間呈線性增長時，會帶來數據存儲的總時長變化率總是比字典表增長率要大的情況，使得數據存儲的總時長成倍增加，從而影響數據存儲的時效性。

發明內容

本發明提供一種基于大數據的數據存儲方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于提高數據存儲的時效性。

為實現上述目的，本發明提供的一種基于大數據的數據存儲方法，包括：

獲取原始數據，對所述原始數據進行數據清洗，得到標準數據；

獲取所述標準數據的數據量，根據所述數據量，更新所述標準數據在對應數據存儲規則表中的初始數據存儲時長；

設置所述標準數據的存儲因子，根據所述存儲因子及所述初始數據存儲時長，計算所述標準數據的數據平均存儲時長；

根據所述存儲因子，對所述數據存儲規則表進行復制，生成多個數據存儲規則表；

配置每個所述數據存儲規則表的數據存儲時長范圍，基于所述數據平均存儲時長和所述數據存儲時長范圍，利用每個所述數據存儲規則表對所述標準數據進行數據存儲，得到存儲結果。

可選地，所述對所述原始數據進行數據清洗，得到標準數據，包括：

對所述原始數據進行去重操作；

檢測去重操作后的所述原始數據中是否存在數據缺失值；

若不存在數據缺失值，則將去重操作后的所述原始數據作為標準數據；

若存在數據缺失值，則對所述數據缺失值進行填充，得到標準數據。

可選地，所述對所述原始數據進行去重操作，包括：

計算所述原始數據中任意兩個數據的距離值，若所述距離值大于預設距離值，則同時保留所述任意兩個數據，若所述距離值不大于預設距離值，則刪除所述任意兩個數據中任意一個數據；

其中，所述計算所述原始數據中任意兩個數據的距離值，包括；利用下述方法計算所述原始數據中任意兩個數據的距離值：

其中，d表示原始數據中任意兩個數據的距離值，w_1j和w_2j表示原始數據中任意兩個數據。

可選地，所述對所述數據缺失值進行填充，包括：

利用下述方法對所述數據缺失值進行填充：