[發明專利]裝載數據到分布式數據倉庫的方法、節點和系統

有效

• 申請號: 201710707762.9
• 申請日: 2017-08-17
• 公開（公告）號: CN110069483B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 曾文旌;張廣舟
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/28
• 代理公司: 北京同鈞律師事務所 16037
• 代理人: 許懷遠

本申請實施例公開了一種裝載數據到數據倉庫的方法、裝置和系統，該方法包括：第一數據節點接收管理節點分發的數據裝載請求，該數據裝載請求攜帶有待裝載數據的讀取參數和該待裝載數據在數據倉庫中的目標數據表，以及該管理節點為該待裝載數據生成的分布式事務的標識；第一數據節點生成該分布式事務的本地事務；第一數據節點根據該待裝載數據的讀取參數讀取待裝載數據；第一數據節點根據數據分布規則將讀取的待裝載數據中屬于第一數據節點的數據預寫入到該目標數據表中。

技術領域

本申請涉及數據庫領域，尤其涉及一種裝載數據到分布式數據倉庫的方法、節點和系統。

背景技術

在分布式數據倉庫中，數據通常以表為單位組織。一張表會按照一定規則把數據均勻的分布到所有數據節點。例如，按照哈希分布規則，將表中每行數據的分布列計算哈希值，將哈希值按照集群節點數取模，按照取模的結果發送給對應的數據節點，從而實現數據的均勻分布。數據倉庫的數據分布規則導致數據倉庫要裝載的數據文件中的數據往往會被無序的打散到多個數據節點上。一個數據文件中的數據需要解析并應用數據分布規則，發送到對應的數據節點。

?而在云上，大量的數據存放在如?OSS?等對象存儲服務中，OSS?等對象存儲服務并不具有很強的計算能力，無法做數據分析和分發。

發明內容

本申請實施例提供了一種裝載數據到分布式數據倉庫的方法、節點和系統，能夠實現數據到分布式數據倉庫的高速裝載。

第一方面，提供了一種裝載數據到分布式數據倉庫的方法，該方法包括：第一數據節點接收管理節點分發的數據裝載請求，該數據裝載請求攜帶有待裝載數據的讀取參數和該待裝載數據在分布式數據倉庫中的目標數據表的標識，以及該管理節點為該待裝載數據生成的分布式事務的標識；該第一數據節點生成該分布式事務的本地事務；該第一數據節點根據該待裝載數據的讀取參數讀取待裝載數據；該第一數據節點根據數據分布規則將讀取的待裝載數據中屬于該第一數據節點的數據預寫入到該目標數據表中。

第二方面，提供了一種裝載數據到分布式數據倉庫的方法，該方法包括：獲取待裝載數據的讀取參數和該待裝載數據在分布式數據倉庫中的目標數據表的標識；生成用于裝載待裝載數據到該分布式數據倉庫的分布式事務，并生成數據裝載請求，該數據裝載請求攜帶有待裝載數據的讀取參數和該待裝載數據在該分布式數據倉庫中的目標數據表的標識，以及該分布式事務的標識；向該分布式數據倉庫的數據節點發送數據裝載請求，該數據裝載請求用于該數據節點根據該數據裝載請求和數據分布規則將讀取的待裝載數據中屬于該數據節點的數據預寫入到該數據節點的該目標數據表中。

第三方面，提供了一種分布式數據倉庫的數據節點，該方法包括：接收單元，接收管理節點分發的數據裝載請求，該數據裝載請求攜帶有待裝載數據的讀取參數和該待裝載數據在該分布式數據倉庫中的目標數據表的標識，以及該管理節點為該待裝載數據生成的分布式事務的標識；生成單元，生成該分布式事務的本地事務；讀取單元，根據該待裝載數據的讀取參數讀取待裝載數據；寫入單元，根據數據分布規則將讀取的待裝載數據中屬于該第一數據節點的數據預寫入到該目標數據表中。

第四方面，提供了一種分布式數據倉庫的管理節點，該方法包括：獲取單元，獲取待裝載數據的讀取參數和該待裝載數據在該分布式數據倉庫中的目標數據表的標識；生成單元，生成用于裝載待裝載數據到該分布式數據倉庫的分布式事務，并生成數據裝載請求，該數據裝載請求攜帶有待裝載數據的讀取參數和該待裝載數據在該分布式數據倉庫中的目標數據表的標識，以及該分布式事務的標識；發送單元，向該分布式數據倉庫的數據節點發送數據裝載請求，該數據裝載請求用于該數據節點根據該數據裝載請求和數據分布規則將讀取的待裝載數據中屬于該數據節點的數據預寫入到該數據節點的該目標數據表中。

?第五方面，提出了一種電子設備，包括：

處理器；以及

被安排成存儲計算機可執行指令的存儲器，該可執行指令在被執行時使該處理器執行以下操作：