[發(fā)明專利]一種基于大數(shù)據(jù)計算引擎的以太坊用戶余額計算方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310028675.6
• 申請日: 2023-01-09
• 公開（公告）號: CN115982147A
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 趙璽;黃呈昊;李雨航
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/27;G06F21/62;G06F21/64;G06Q40/04
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 王艾華

1.一種基于大數(shù)據(jù)計算引擎的以太坊用戶余額計算方法，其特征在于，包括數(shù)據(jù)的獲取、數(shù)據(jù)的轉(zhuǎn)移和數(shù)據(jù)的計算工作；其中，

數(shù)據(jù)的獲取工作為通過Open?ethereum將公鏈數(shù)據(jù)獲取到本地，同時經(jīng)過數(shù)據(jù)的清洗，將數(shù)據(jù)劃分為8個方向：分別為內(nèi)部交易數(shù)據(jù)、外部交易數(shù)據(jù)、區(qū)塊blocks相關(guān)信息、token描述性信息、token轉(zhuǎn)移信息、以太坊觸發(fā)事件的logs信息以及外部交易的補充信息；

數(shù)據(jù)的轉(zhuǎn)移工作具體為：通過NIFI數(shù)據(jù)鏈路，將數(shù)據(jù)轉(zhuǎn)移到大數(shù)據(jù)集群HDFS上的hive數(shù)據(jù)庫中，作為離線數(shù)據(jù)計算的數(shù)據(jù)源，同時將數(shù)據(jù)通過NIFI的kafka的組件發(fā)送到相應(yīng)數(shù)據(jù)表的kafka的topic中；

數(shù)據(jù)的計算工作包括離線數(shù)據(jù)計算和實時數(shù)據(jù)計算，離線數(shù)據(jù)計算通過讀取大數(shù)據(jù)集群的hive表中數(shù)據(jù)得到相應(yīng)的維度的數(shù)據(jù)計算結(jié)果最終輸出，存放在相應(yīng)的大數(shù)據(jù)集群HDFS的對應(yīng)目錄下；實時數(shù)據(jù)計算通過讀取kafka中的8張維度表的數(shù)據(jù)，以及sparkstreaming的流式處理進行實時計算，最終結(jié)果存放在提前建立好的key?value數(shù)據(jù)庫hbase的相應(yīng)數(shù)據(jù)表中。

2.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)計算引擎的以太坊用戶余額計算方法，其特征在于，數(shù)據(jù)的轉(zhuǎn)移：

將數(shù)據(jù)采集與轉(zhuǎn)儲集群的本地公鏈數(shù)據(jù)和其他相關(guān)數(shù)據(jù)轉(zhuǎn)發(fā)到大數(shù)據(jù)集群HDFS上并映射成hive表儲存；將采集的公鏈數(shù)據(jù)發(fā)送至Kafka消息隊列集群；

離線的數(shù)據(jù)讀入算法庫，通過讀取hive數(shù)據(jù)庫里結(jié)構(gòu)化的數(shù)據(jù)，在算法庫中將表數(shù)據(jù)映射成8種數(shù)據(jù)表。

3.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)計算引擎的以太坊用戶余額計算方法，其特征在于，具體包括以下步驟：

S1，將數(shù)據(jù)采集與轉(zhuǎn)儲集群的本地公鏈數(shù)據(jù)和其他相關(guān)數(shù)據(jù)轉(zhuǎn)發(fā)到大數(shù)據(jù)集群HDFS上并映射成hive表儲存；

S2，將采集的本地公鏈數(shù)據(jù)發(fā)送至Kafka消息隊列集群，使用kafka進行算法庫中的各個算法與數(shù)據(jù)源之間的解耦；

S3，離線的數(shù)據(jù)讀入算法庫，通過讀取hive數(shù)據(jù)庫中結(jié)構(gòu)化的數(shù)據(jù)，在算法庫中將表數(shù)據(jù)映射成8種數(shù)據(jù)表的基礎(chǔ)實體類；8種數(shù)據(jù)表為blocks、traces、transactions、tokens、contracts、receipts、logs和token_transfers；

S4，開發(fā)交易記錄的實體類，將每筆交易映射至實體類中，并構(gòu)造每一批交易的統(tǒng)計學(xué)指標(biāo)，所述統(tǒng)計學(xué)指標(biāo)包括出度、入度、轉(zhuǎn)出交易總量、轉(zhuǎn)入交易總量、轉(zhuǎn)出交易總次數(shù)、轉(zhuǎn)入交易總次數(shù)以及交易方差；

S5，利用mapreduce以及spark大數(shù)據(jù)計算引擎進行以太坊用戶余額計算；

S6，將以上所有的計算進行匯總，在集群中啟動定時任務(wù)，將每個人每一天的余額數(shù)據(jù)寫回到數(shù)據(jù)庫hive中。