[發(fā)明專利]一種基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)架構(gòu)

有效

• 申請?zhí)枺?/td>: 202010423876.2
• 申請日: 2020-05-19
• 公開（公告）號: CN112134834B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計）人: 蔡維德
• 申請（專利權(quán)）人: 北京天德科技有限公司;天民（青島）國際沙盒研究院有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06Q40/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出一種基于區(qū)塊鏈的數(shù)據(jù)湖BDL（Blockchain Data Lake）系統(tǒng)架構(gòu)，使區(qū)塊鏈可以應(yīng)用于更多復(fù)雜的業(yè)務(wù)場景，尤其適用于大數(shù)據(jù)分析。系統(tǒng)架構(gòu)包括：（1）可實現(xiàn)的抽象區(qū)塊鏈節(jié)點，包含數(shù)據(jù)采集、發(fā)送模塊；（2）區(qū)塊鏈數(shù)據(jù)管道，提供區(qū)塊鏈數(shù)據(jù)發(fā)送與接收、區(qū)塊鏈數(shù)據(jù)轉(zhuǎn)化與處理等功能；（3）區(qū)塊鏈的數(shù)據(jù)湖BDL，包含區(qū)塊鏈數(shù)據(jù)庫、數(shù)據(jù)分析組件、數(shù)據(jù)安全與接入組件、BDL鏈。

技術(shù)領(lǐng)域

本發(fā)明屬于區(qū)塊鏈技術(shù)及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及多條異構(gòu)或同構(gòu)區(qū)塊鏈之間數(shù)據(jù)協(xié)同的數(shù)據(jù)湖系統(tǒng)的設(shè)計技術(shù)。

背景技術(shù)

區(qū)塊鏈的數(shù)據(jù)采用增量存儲的模式，以區(qū)塊數(shù)據(jù)和交易數(shù)據(jù)為主。目前的區(qū)塊鏈塊數(shù)據(jù)或交易數(shù)據(jù)的查詢，主要使用遍歷查詢、基于哈希的查詢和基于塊高度的查詢等方式。這種設(shè)計方式下，應(yīng)用程序會存儲上鏈數(shù)據(jù)對應(yīng)的鏈上哈希，基于應(yīng)用數(shù)據(jù)提供的哈希值進(jìn)行查詢。區(qū)塊鏈的數(shù)據(jù)查詢方式較為單一，尤其對大數(shù)據(jù)分析不友好，無法將區(qū)塊鏈應(yīng)用于更多復(fù)雜業(yè)務(wù)場景，尤其是跨鏈數(shù)據(jù)融合的業(yè)務(wù)場景，比如區(qū)塊鏈監(jiān)管等。隨著區(qū)塊鏈技術(shù)的發(fā)展，區(qū)塊鏈的應(yīng)用場景不斷豐富，對區(qū)塊鏈數(shù)據(jù)融合、數(shù)據(jù)協(xié)同的要求越來越高。例如：某個用戶在銀行A有大量資金，與此用戶有關(guān)聯(lián)的其他多個用戶在銀行B、銀行C、銀行D……等其他銀行有大量非正常資金流動，判斷此用戶是否涉嫌洗錢等非法活動，就需要通過跨行監(jiān)管將多個銀行之間的數(shù)據(jù)融合和協(xié)同，從而解決資金監(jiān)管難題。

因此本發(fā)明提出一種基于區(qū)塊鏈的數(shù)據(jù)湖架構(gòu)，使原本互相隔離的區(qū)塊鏈實現(xiàn)了區(qū)塊鏈數(shù)據(jù)互聯(lián)互通，并可支持復(fù)雜查詢、數(shù)據(jù)挖掘、數(shù)據(jù)分析功能，大大提升了數(shù)據(jù)利用效率。

發(fā)明內(nèi)容

本發(fā)明提出一種基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)架構(gòu)，可以打通各種同構(gòu)或異構(gòu)區(qū)塊鏈，實現(xiàn)區(qū)塊鏈數(shù)據(jù)相互融合和協(xié)同，以支持復(fù)雜查詢、數(shù)據(jù)挖掘、數(shù)據(jù)分析功能，大大提升數(shù)據(jù)利用效率。本發(fā)明提出的架構(gòu)包含以下部分：

（1）可實現(xiàn)的抽象區(qū)塊鏈節(jié)點：各種區(qū)塊鏈系統(tǒng)通過實現(xiàn)此抽象節(jié)點采集并與區(qū)塊鏈數(shù)據(jù)湖BDL（Blockchain Data Lake）交換數(shù)據(jù)，節(jié)點包含以下模塊：

（1a）區(qū)塊鏈新增數(shù)據(jù)采集模塊：定時獲取新增塊的數(shù)據(jù)；

（1b）區(qū)塊鏈新增數(shù)據(jù)發(fā)送模塊：定時將數(shù)據(jù)發(fā)送到區(qū)塊鏈數(shù)據(jù)管道；

（2）區(qū)塊鏈數(shù)據(jù)管道：區(qū)塊鏈與BDL之間的連接，包括區(qū)塊鏈數(shù)據(jù)發(fā)送與接收、區(qū)塊鏈數(shù)據(jù)轉(zhuǎn)化與處理，數(shù)據(jù)管道包含以下模塊：

（2a）區(qū)塊鏈節(jié)點與BDL鏈路連接模塊：建立區(qū)塊鏈與BDL通信通道；

（2b）區(qū)塊鏈數(shù)據(jù)接收模塊：接收抽象區(qū)塊鏈節(jié)點發(fā)來的數(shù)據(jù)；

（2c）區(qū)塊鏈數(shù)據(jù)轉(zhuǎn)化處理模塊：對抽象區(qū)塊鏈節(jié)點發(fā)來的數(shù)據(jù)進(jìn)行格式化處理和加密處理；

（2d）區(qū)塊鏈數(shù)據(jù)安全傳輸模塊：將格式化和加密后的數(shù)據(jù)傳輸?shù)紹DL；

（3）區(qū)塊鏈數(shù)據(jù)湖BDL，包含以下模塊或組件：

（3a）區(qū)塊鏈數(shù)據(jù)庫：支持海量區(qū)塊鏈數(shù)據(jù)的存儲與快速檢索；

（3b）數(shù)據(jù)分析組件：支持多種數(shù)據(jù)分析工具，包括但不限于SQL，hive，impala，spark等；

（3c）數(shù)據(jù)安全與接入組件：負(fù)責(zé)區(qū)塊鏈接入授權(quán)以及數(shù)據(jù)湖訪問控制；

（3d）BDL鏈：用于將BDL關(guān)鍵數(shù)據(jù)上鏈并提供BDL自身數(shù)據(jù)校驗功能。

進(jìn)一步地，所述（1）中區(qū)塊鏈系統(tǒng)可包含同構(gòu)區(qū)塊鏈，也可包含異構(gòu)區(qū)塊鏈。