[發(fā)明專利]一種基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)架構(gòu)

有效

• 申請?zhí)枺?/td>: 202010423876.2
• 申請日: 2020-05-19
• 公開（公告）號: CN112134834B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計）人: 蔡維德
• 申請（專利權(quán)）人: 北京天德科技有限公司;天民（青島）國際沙盒研究院有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06Q40/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)，其特征為，包含以下部分：

（1）可實現(xiàn)的抽象區(qū)塊鏈節(jié)點：各種區(qū)塊鏈系統(tǒng)通過所述可實現(xiàn)的抽象區(qū)塊鏈節(jié)點的采集與區(qū)塊鏈數(shù)據(jù)湖BDL交換數(shù)據(jù)，所述可實現(xiàn)的抽象區(qū)塊鏈節(jié)點包含以下模塊：

（1a）區(qū)塊鏈新增數(shù)據(jù)采集模塊：用于定時獲取新增塊的數(shù)據(jù)；

（1b）區(qū)塊鏈新增數(shù)據(jù)發(fā)送模塊：用于定時將數(shù)據(jù)發(fā)送到區(qū)塊鏈數(shù)據(jù)管道；

（2）區(qū)塊鏈數(shù)據(jù)管道：區(qū)塊鏈與所述區(qū)塊鏈數(shù)據(jù)湖BDL之間的連接，所述區(qū)塊鏈數(shù)據(jù)管道包含以下模塊：

（2a）區(qū)塊鏈節(jié)點與區(qū)塊鏈數(shù)據(jù)湖BDL鏈路連接模塊：用于建立區(qū)塊鏈與所述區(qū)塊鏈數(shù)據(jù)湖BDL的通信通道；

（2b）區(qū)塊鏈數(shù)據(jù)接收模塊：用于接收所述可實現(xiàn)的抽象區(qū)塊鏈節(jié)點發(fā)來的數(shù)據(jù)；

（2c）區(qū)塊鏈數(shù)據(jù)轉(zhuǎn)化處理模塊：用于對所述可實現(xiàn)的抽象區(qū)塊鏈節(jié)點發(fā)來的數(shù)據(jù)進(jìn)行格式化處理和加密處理；

（2d）區(qū)塊鏈數(shù)據(jù)安全傳輸模塊：用于將所述格式化處理和所述加密處理后的數(shù)據(jù)傳輸?shù)剿鰠^(qū)塊鏈數(shù)據(jù)湖BDL；

（3）區(qū)塊鏈數(shù)據(jù)湖BDL，包含以下模塊或組件：

（3a）區(qū)塊鏈數(shù)據(jù)庫：用于支持海量區(qū)塊鏈數(shù)據(jù)的存儲與快速檢索；

（3b）數(shù)據(jù)分析組件：用于支持多種數(shù)據(jù)分析工具；

（3c）數(shù)據(jù)安全與接入組件：用于所述區(qū)塊鏈的接入授權(quán)以及所述區(qū)塊鏈數(shù)據(jù)湖BDL的訪問控制；

（3d）區(qū)塊鏈數(shù)據(jù)湖BDL鏈：用于將所述區(qū)塊鏈數(shù)據(jù)湖BDL的關(guān)鍵數(shù)據(jù)上鏈并提供所述區(qū)塊鏈數(shù)據(jù)湖BDL自身數(shù)據(jù)的校驗；

其中，所述系統(tǒng)的處理流程為：

步驟1，接入的所述區(qū)塊鏈先到所述區(qū)塊鏈數(shù)據(jù)湖BDL注冊，以獲取授權(quán)，得到唯一身份標(biāo)識；

步驟2，接入的所述區(qū)塊鏈實現(xiàn)所述可實現(xiàn)的抽象區(qū)塊鏈節(jié)點，并部署到自身的區(qū)塊鏈中，負(fù)責(zé)定時采集新增的區(qū)塊鏈數(shù)據(jù)；

步驟3，獲取所述授權(quán)后，在所述區(qū)塊鏈數(shù)據(jù)湖BDL登記所述步驟2中部署的節(jié)點地址；

步驟4，接入的所述區(qū)塊鏈在自身的服務(wù)器環(huán)境中部署區(qū)塊鏈數(shù)據(jù)管道，并使用得到的所述唯一身份標(biāo)識連接所述步驟2中的所述可實現(xiàn)的抽象區(qū)塊鏈節(jié)點和所述區(qū)塊鏈數(shù)據(jù)湖BDL，包括：

步驟41，所述區(qū)塊鏈數(shù)據(jù)管道獲取所述步驟2中采集的所述新增的區(qū)塊鏈數(shù)據(jù)，并驗證所述區(qū)塊鏈數(shù)據(jù)的合法性；

步驟42，所述區(qū)塊鏈數(shù)據(jù)管道將所述步驟41采集的所述區(qū)塊鏈數(shù)據(jù)進(jìn)行格式化，然后進(jìn)行加密處理；

步驟43，所述區(qū)塊鏈數(shù)據(jù)管道向所述區(qū)塊鏈數(shù)據(jù)湖BDL發(fā)送經(jīng)過所述加密處理后的所述區(qū)塊鏈數(shù)據(jù)；

步驟5，所述區(qū)塊鏈數(shù)據(jù)湖BDL將接收到的所述區(qū)塊鏈數(shù)據(jù)寫入數(shù)據(jù)表中，包括：

步驟51，所述區(qū)塊鏈數(shù)據(jù)湖BDL接收到所述步驟43發(fā)來的所述區(qū)塊鏈數(shù)據(jù)后，對所述步驟3中的登記的所述節(jié)點地址進(jìn)行驗證，確保所述區(qū)塊鏈數(shù)據(jù)的源頭合法性，驗證未通過直接丟棄所述區(qū)塊鏈數(shù)據(jù)；

步驟52，所述區(qū)塊鏈數(shù)據(jù)湖BDL驗證所述步驟1中獲取的所述授權(quán)，驗證未通過直接丟棄所述區(qū)塊鏈數(shù)據(jù)；

步驟53，所述區(qū)塊鏈數(shù)據(jù)湖BDL通過所述步驟51和所述步驟52兩步所述驗證后，對所述步驟43發(fā)來的所述區(qū)塊鏈數(shù)據(jù)進(jìn)行解密和再次格式化處理，然后寫入磁盤；

步驟6，所述區(qū)塊鏈數(shù)據(jù)湖BDL對收到的所述區(qū)塊鏈數(shù)據(jù)進(jìn)行關(guān)鍵信息提取并將關(guān)鍵信息存儲在所述區(qū)塊鏈數(shù)據(jù)湖BDL的鏈上；

步驟7，所述區(qū)塊鏈數(shù)據(jù)湖BDL的客戶端使用數(shù)據(jù)挖掘工具分析所述區(qū)塊鏈數(shù)據(jù)；

步驟8，所述區(qū)塊鏈數(shù)據(jù)湖BDL對外提供標(biāo)準(zhǔn)的數(shù)據(jù)查詢接口，便于業(yè)務(wù)系統(tǒng)與所述區(qū)塊鏈數(shù)據(jù)湖BDL對接；

步驟9，所述業(yè)務(wù)系統(tǒng)調(diào)用所述區(qū)塊鏈數(shù)據(jù)湖BDL的所述數(shù)據(jù)查詢接口獲得所述區(qū)塊鏈數(shù)據(jù)，進(jìn)行后續(xù)業(yè)務(wù)處理。

2.根據(jù)權(quán)利要求1所述一種基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)，其特征為，可接入所述基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)的區(qū)塊鏈為同構(gòu)區(qū)塊鏈或異構(gòu)區(qū)塊鏈。

3.根據(jù)權(quán)利要求1所述一種基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)，其特征為，每條所述區(qū)塊鏈注冊一個可以接入所述區(qū)塊鏈數(shù)據(jù)湖BDL的合法身份，未獲得授權(quán)的區(qū)塊鏈無法接入所述區(qū)塊鏈數(shù)據(jù)湖BDL；每條所述區(qū)塊鏈的所述抽象區(qū)塊鏈節(jié)點地址需要事先在所述區(qū)塊鏈數(shù)據(jù)湖BDL聲明登記，未經(jīng)過所述聲明登記的節(jié)點，即使獲得所述授權(quán)也無法接入所述區(qū)塊鏈數(shù)據(jù)湖BDL。

4.根據(jù)權(quán)利要求3所述一種基于區(qū)塊鏈的數(shù)據(jù)湖系統(tǒng)，其特征為：所述區(qū)塊鏈數(shù)據(jù)湖BDL的鏈提供存證與驗證功能，所述區(qū)塊鏈數(shù)據(jù)湖BDL接收到某一區(qū)塊鏈上傳的塊數(shù)據(jù)，對塊中每一條交易進(jìn)行處理，將每一條所述交易所在塊的哈希Hash、所述交易的交易數(shù)據(jù)Tx、所述交易所在塊前一塊的哈希PreHash進(jìn)行聯(lián)合哈希運算得到newHash，可表達(dá)為newHash= hash（Hash+Tx+PreHash）,所述newHash作為該所述交易的關(guān)鍵信息值存儲在所述區(qū)塊鏈數(shù)據(jù)湖BDL的鏈上；當(dāng)數(shù)據(jù)分析過程、數(shù)據(jù)查詢過程中存在數(shù)據(jù)真實性驗證需求時，被驗證交易的塊的哈希、前一塊的哈希及被驗證的所述交易數(shù)據(jù)Tx重新按照newHash = hash（Hash+Tx+PreHash）公式計算哈希值，如果所述區(qū)塊鏈數(shù)據(jù)湖BDL鏈上存在所述重新按照newHash = hash（Hash+Tx+PreHash）公式計算的哈希值，則表示被驗證的所述交易未被篡改。