[發明專利]一種數據修復方法、電子設備及存儲介質

有效

• 申請號: 201910914112.0
• 申請日: 2019-09-25
• 公開（公告）號: CN110727532B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 閆輝
• 申請（專利權）人: 武漢奧浦信息技術有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F9/54;G06F16/182;G06F16/13
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 王振宇

本發明提供一種數據修復方法、電子設備及存儲介質，該方法包括：將由Flume采集到的殘缺信息數據發送到Kafka消息隊列，通過SparkStreaming對所述殘缺信息進行修復處理；將修復完成的殘缺信息存儲到Elasticsearch集群，將未修復的殘缺信息存儲到HDFS集群；通過圖計算關聯技術對HDFS集群中的未修復的殘缺信息進行修復提取，并將修復提取后的殘缺信息存儲至Redis數據庫。通過該方案解決殘缺數據修復效率低的問題，有效提高數據修復效率，保障海量數據實時修復處理。

技術領域

本發明涉及信息安全領域，尤其涉及一種數據修復方法、電子設備及存儲介質。

背景技術

對于企業級應用，常需要具備應對海量的數據訪問處理能力，除了對用戶請求做出實時反饋外，還需要獲取用戶的行為數據以便進行存儲分析。然而，海量的用戶訪問數據一般行為數據條目較多，服務器端每次進行捕捉時行為數據要素信息不全，導致后續對缺失字段值的數據條目進行整合變得十分困難。

目前，已有的對不完整數據處理方式是將采集的行為數據放入Elasticsearch集群，通過遍歷集群進行檢索整合，但由于集群數據量龐大，且Elasticsearch集群在系統中承擔著數據的查詢、刪除等任務，因而基于Elasticsearch集群的用戶行為數據修復處理效率會非常低。

發明內容

有鑒于此，本發明實施例提供了一種數據修復方法、電子設備及存儲介質，以解決基于Elasticsearch集群遍歷殘缺數據修復效率低的問題。

在本發明實施例的第一方面，提供了一種方法，包括：

將由Flume采集到的殘缺信息數據發送到Kafka消息隊列，通過SparkStreaming對所述殘缺信息進行修復處理；

將修復完成的殘缺信息存儲到Elasticsearch集群，將未修復的殘缺信息存儲到HDFS集群；

通過圖計算關聯技術對HDFS集群中的未修復的殘缺信息進行修復提取，并將修復提取后的殘缺信息存儲至Redis數據庫。

在本發明實施例的第二方面，提供了一種電子設備，包括：

第一修復模塊，用于將由Flume采集到的殘缺信息數據發送到Kafka消息隊列，通過SparkStreaming對所述殘缺信息進行修復處理；

存儲模塊，用于將修復完成的殘缺信息存儲到Elasticsearch集群，將未修復的殘缺信息存儲到HDFS集群；

第二修復模塊，用于通過圖計算關聯技術對HDFS集群中的未修復的殘缺信息進行修復提取，并將修復提取后的殘缺信息存儲至Redis數據庫。

在本發明實施例的第三方面，提供了一種電子設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器運行的計算機程序，所述處理器執行所述計算機程序時實現如本發明實施例第一方面所述方法的步驟。

在本發明實施例的第四方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現本發明實施例第一方面提供的所述方法的步驟。

本發明實施例中，將由Flume采集的殘缺信息發送到Kafka消息隊列，通過SparkStreaming對殘缺信息進行修復處理，并將修復好的數據存儲至Elasticsearch集群，將未修復數據存儲到HDFS集群，通過圖計算關聯技術對未修復數據進行修復，然后存儲至Redis數據庫，從而解決了殘缺的用戶行為數據修復效率低的問題，有效提高了數據修復效率，保障對用戶身份不完整要素數據的實時處理，方便根據完整的要素數據對用戶身份進行確認。

附圖說明