[發(fā)明專利]一種基于大數(shù)據(jù)計(jì)算引擎的以太坊用戶余額計(jì)算方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310028675.6
• 申請日: 2023-01-09
• 公開（公告）號: CN115982147A
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 趙璽;黃呈昊;李雨航
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/27;G06F21/62;G06F21/64;G06Q40/04
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 王艾華

本發(fā)明公開一種基于大數(shù)據(jù)計(jì)算引擎的以太坊用戶余額計(jì)算方法及系統(tǒng)，本發(fā)明涉及大數(shù)據(jù)實(shí)時(shí)計(jì)算、大數(shù)據(jù)離線計(jì)算、分布式存儲技術(shù)領(lǐng)域，具體涉及基于open?ethereum的數(shù)據(jù)獲取以及處理和基于mapreduce，spark，sparkstreaming的數(shù)據(jù)分析方法。所述方法包括：通過open?ethereum將鏈上數(shù)據(jù)同步到本地，再通過nifi管道將采集到的數(shù)據(jù)發(fā)送到kafka儲存到關(guān)系型數(shù)據(jù)庫hive中，然后使用spark和mapreduce的離線數(shù)據(jù)計(jì)算，以及通過sparkstreaming的實(shí)時(shí)數(shù)據(jù)流計(jì)算篩選如智能合約地址，最終存以及非關(guān)系型數(shù)據(jù)庫Hbase中。本發(fā)明的實(shí)時(shí)以及離線大數(shù)據(jù)計(jì)算手段配合以太坊數(shù)據(jù)可以得到以太坊用戶的余額計(jì)算結(jié)果，從而能夠更好的對以太坊進(jìn)行分析研究。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)離線與實(shí)時(shí)計(jì)算技術(shù)，具體涉及一種基于大數(shù)據(jù)計(jì)算引擎的以太坊用戶余額計(jì)算方法及系統(tǒng)。

背景技術(shù)

隨著新一輪技術(shù)的變革以及社會經(jīng)濟(jì)的發(fā)展，區(qū)塊鏈技術(shù)作為一種新興的技術(shù)，通過集成多種技術(shù)，包括共識機(jī)制，加密算法以及分布式數(shù)據(jù)存儲和點(diǎn)對點(diǎn)傳輸機(jī)制等，保證了交易數(shù)據(jù)的去中心化存儲以及不可篡改性，從而營造了一種可信賴的交易環(huán)境。

作為一個(gè)開放的公有鏈平臺，以太坊通過支持去中心化的以太坊虛擬機(jī)來實(shí)現(xiàn)智

能合約功能，然后通過智能合約功能來處理點(diǎn)對點(diǎn)的交易。以太坊智能合約被廣泛應(yīng)用于許多領(lǐng)域，例如金融服務(wù)、基礎(chǔ)設(shè)施、物聯(lián)網(wǎng)和醫(yī)療保健等，這使得區(qū)塊鏈技術(shù)的產(chǎn)業(yè)應(yīng)用價(jià)值逐漸明確。

本發(fā)明利用大數(shù)據(jù)計(jì)算模型mapreduce以及spark，目前這是處理大規(guī)模數(shù)據(jù)最好的并行計(jì)算模型和方法，它是基于集群的高性能并行計(jì)算平臺，允許用市場上普通的商用服務(wù)器構(gòu)成一個(gè)包含數(shù)十、數(shù)百至數(shù)千個(gè)節(jié)點(diǎn)的分布和并行計(jì)算集群，并且它提供了一個(gè)龐大但設(shè)計(jì)精良的并行計(jì)算軟件框架，能自動(dòng)完成計(jì)算任務(wù)的并行化處理，自動(dòng)劃分計(jì)算數(shù)據(jù)和計(jì)算任務(wù)，在集群節(jié)點(diǎn)上自動(dòng)分配和執(zhí)行任務(wù)以及收集計(jì)算結(jié)果，將數(shù)據(jù)分布存儲、數(shù)據(jù)通信、容錯(cuò)處理等并行計(jì)算涉及到的很多系統(tǒng)底層的復(fù)雜細(xì)節(jié)交由系統(tǒng)負(fù)責(zé)處理，大大減少了軟件開發(fā)人員的負(fù)擔(dān)。

在當(dāng)前的以太坊數(shù)據(jù)分析中，存在如下問題：

1.以太坊數(shù)據(jù)分析的可以得到的相關(guān)數(shù)據(jù)太少，相關(guān)數(shù)據(jù)質(zhì)量偏低。

2.在計(jì)算以太坊用戶余額時(shí)，沒有一個(gè)邏輯清晰的以太坊余額計(jì)算流程，數(shù)據(jù)計(jì)算的準(zhǔn)確性存疑。

發(fā)明內(nèi)容

針對上述現(xiàn)有存在的不足和問題，本發(fā)明所要解決的技術(shù)問題是：如何提供一種基于以太坊數(shù)據(jù)的離線和實(shí)時(shí)用戶余額計(jì)算方法，以能夠有效使得用戶余額計(jì)算的效率提升并且有益于進(jìn)行以太坊用戶的數(shù)據(jù)分析。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：一種基于大數(shù)據(jù)計(jì)算引擎的以太坊用戶余額計(jì)算方法，包括數(shù)據(jù)的獲取、數(shù)據(jù)的轉(zhuǎn)移和數(shù)據(jù)的計(jì)算工作；其中，

數(shù)據(jù)的獲取工作為通過Open?ethereum將公鏈數(shù)據(jù)獲取到本地，同時(shí)經(jīng)過數(shù)據(jù)的清洗，將數(shù)據(jù)劃分為8個(gè)方向：分別為內(nèi)部交易數(shù)據(jù)、外部交易數(shù)據(jù)、區(qū)塊blocks相關(guān)信息、token描述性信息、token轉(zhuǎn)移信息、以太坊觸發(fā)事件的logs信息以及外部交易的補(bǔ)充信息；

數(shù)據(jù)的轉(zhuǎn)移工作具體為：通過NIFI數(shù)據(jù)鏈路，將數(shù)據(jù)轉(zhuǎn)移到大數(shù)據(jù)集群HDFS上的hive數(shù)據(jù)庫中，作為離線數(shù)據(jù)計(jì)算的數(shù)據(jù)源，同時(shí)將數(shù)據(jù)通過NIFI的kafka的組件發(fā)送到相應(yīng)數(shù)據(jù)表的kafka的topic中；

數(shù)據(jù)的計(jì)算工作包括離線數(shù)據(jù)計(jì)算和實(shí)時(shí)數(shù)據(jù)計(jì)算，離線數(shù)據(jù)計(jì)算通過讀取大數(shù)據(jù)集群的hive表中數(shù)據(jù)得到相應(yīng)的維度的數(shù)據(jù)計(jì)算結(jié)果最終輸出，存放在相應(yīng)的大數(shù)據(jù)集群HDFS的對應(yīng)目錄下；實(shí)時(shí)數(shù)據(jù)計(jì)算通過讀取kafka中的8張維度表的數(shù)據(jù)，以及sparkstreaming的流式處理進(jìn)行實(shí)時(shí)計(jì)算，最終結(jié)果存放在提前建立好的key?value數(shù)據(jù)庫hbase的相應(yīng)數(shù)據(jù)表中。

數(shù)據(jù)的轉(zhuǎn)移：