[發(fā)明專利]一種數(shù)據(jù)修復(fù)方法、電子設(shè)備及存儲介質(zhì)有效
| 申請?zhí)枺?/td> | 201910914112.0 | 申請日： | 2019-09-25 |
| 公開（公告）號： | CN110727532B | 公開（公告）日： | 2023-07-28 |
| 發(fā)明（設(shè)計）人： | 閆輝 | 申請（專利權(quán)）人： | 武漢奧浦信息技術(shù)有限公司 |
| 主分類號： | G06F11/07 | 分類號： | G06F11/07;G06F9/54;G06F16/182;G06F16/13 |
| 代理公司： | 武漢藍寶石專利代理事務(wù)所(特殊普通合伙) 42242 | 代理人： | 王振宇 |
| 地址： | 430000 湖北省武漢市東湖開發(fā)區(qū)武*** | 國省代碼： | 湖北;42 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 數(shù)據(jù) 修復(fù) 方法 電子設(shè)備 存儲 介質(zhì) | ||
1.一種數(shù)據(jù)修復(fù)方法，其特征在于，包括：
將由Flume采集到的殘缺信息數(shù)據(jù)發(fā)送到Kafka消息隊列，通過SparkStreaming對所述殘缺信息進行修復(fù)處理；
將修復(fù)完成的殘缺信息存儲到Elasticsearch集群，將未修復(fù)的殘缺信息存儲到HDFS集群；
通過圖計算關(guān)聯(lián)技術(shù)對HDFS集群中的未修復(fù)的殘缺信息進行修復(fù)提取，并將修復(fù)提取后的殘缺信息存儲至Redis數(shù)據(jù)庫；
所述通過圖計算關(guān)聯(lián)技術(shù)對HDFS集群中的未修復(fù)的殘缺信息進行修復(fù)提取，并將修復(fù)提取后的殘缺信息存儲至Redis數(shù)據(jù)庫，包括：
基于關(guān)聯(lián)修復(fù)獲取HDFS集群中歷史數(shù)據(jù)，并提取所述歷史數(shù)據(jù)中的可用信息，根據(jù)所述可用信息與所述殘缺信息對應(yīng)的關(guān)系，修復(fù)所述殘缺信息，并按鍵值關(guān)系存儲至Redis數(shù)據(jù)庫，根據(jù)Elasticsearch集群中修復(fù)完成的殘缺信息及HDFS集群中修復(fù)提取后的殘缺信息，獲取用戶操作行為并對終端用戶身份進行分析識別。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過SparkStreaming對所述殘缺信息進行修復(fù)處理具體為：
根據(jù)Redis數(shù)據(jù)庫已有的完整信息對所述殘缺信息中殘缺條目進行填充修復(fù)。
3.一種電子設(shè)備，其特征在于，包括：
第一修復(fù)模塊，用于將由Flume采集到的殘缺信息數(shù)據(jù)發(fā)送到Kafka消息隊列，通過SparkStreaming對所述殘缺信息進行修復(fù)處理；
存儲模塊，用于將修復(fù)完成的殘缺信息存儲到Elasticsearch集群，將未修復(fù)的殘缺信息存儲到HDFS集群；
第二修復(fù)模塊，用于通過圖計算關(guān)聯(lián)技術(shù)對HDFS集群中的未修復(fù)的殘缺信息進行修復(fù)提取，并將修復(fù)提取后的殘缺信息存儲至Redis數(shù)據(jù)庫，
所述通過圖計算關(guān)聯(lián)技術(shù)對HDFS集群中的未修復(fù)的殘缺信息進行修復(fù)提取，并將修復(fù)提取后的殘缺信息存儲至Redis數(shù)據(jù)庫，包括：
基于關(guān)聯(lián)修復(fù)獲取HDFS集群中歷史數(shù)據(jù)，并提取所述歷史數(shù)據(jù)中的可用信息，根據(jù)所述可用信息與所述殘缺信息對應(yīng)的關(guān)系，修復(fù)所述殘缺信息，并按鍵值關(guān)系存儲至Redis數(shù)據(jù)庫，根據(jù)Elasticsearch集群中修復(fù)完成的殘缺信息及HDFS集群中修復(fù)提取后的殘缺信息，獲取用戶操作行為并對終端用戶身份進行分析識別。
4.根據(jù)權(quán)利要求3所述的電子設(shè)備，其特征在于，所述通過SparkStreaming對所述殘缺信息進行修復(fù)處理具體為：
根據(jù)Redis數(shù)據(jù)庫已有的完整信息對所述殘缺信息中殘缺條目進行填充修復(fù)。
5.一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至2中任一項所述數(shù)據(jù)修復(fù)方法的步驟。
6.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至2任一項所述數(shù)據(jù)修復(fù)方法的步驟。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于武漢奧浦信息技術(shù)有限公司，未經(jīng)武漢奧浦信息技術(shù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910914112.0/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設(shè)備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結(jié)構(gòu)
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設(shè)備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
