[發(fā)明專利]裝載數(shù)據(jù)到分布式數(shù)據(jù)倉庫的方法、節(jié)點(diǎn)和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710707762.9
• 申請日: 2017-08-17
• 公開（公告）號: CN110069483B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 曾文旌;張廣舟
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/28
• 代理公司: 北京同鈞律師事務(wù)所 16037
• 代理人: 許懷遠(yuǎn)

1.一種裝載數(shù)據(jù)到分布式數(shù)據(jù)倉庫的方法，其特征在于，包括：

第一數(shù)據(jù)節(jié)點(diǎn)接收管理節(jié)點(diǎn)分發(fā)的數(shù)據(jù)裝載請求，所述數(shù)據(jù)裝載請求攜帶有待裝載數(shù)據(jù)的讀取參數(shù)和所述待裝載數(shù)據(jù)在分布式數(shù)據(jù)倉庫中的目標(biāo)數(shù)據(jù)表的標(biāo)識，以及所述管理節(jié)點(diǎn)為所述待裝載數(shù)據(jù)生成的分布式事務(wù)的標(biāo)識；

所述第一數(shù)據(jù)節(jié)點(diǎn)生成所述分布式事務(wù)的本地事務(wù)；

所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述待裝載數(shù)據(jù)的讀取參數(shù)讀取待裝載數(shù)據(jù)；

所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)數(shù)據(jù)分布規(guī)則將讀取的待裝載數(shù)據(jù)中屬于所述第一數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)預(yù)寫入到所述目標(biāo)數(shù)據(jù)表中。

2.如權(quán)利要求1所述的方法，其特征在于，

所述方法還包括：所述第一數(shù)據(jù)節(jié)點(diǎn)接收其它數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述數(shù)據(jù)分布規(guī)則發(fā)送的屬于所述第一數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)，并預(yù)寫入到所述目標(biāo)數(shù)據(jù)表中。

3.如權(quán)利要求1所述的方法，其特征在于，

在所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述待裝載數(shù)據(jù)的讀取參數(shù)讀取待裝載數(shù)據(jù)之后，所述方法還包括：所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述數(shù)據(jù)分布規(guī)則將讀取的待裝載數(shù)據(jù)中屬于第二數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)發(fā)送給所述第二數(shù)據(jù)節(jié)點(diǎn)。

4.如權(quán)利要求1所述的方法，其特征在于，

所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述待裝載數(shù)據(jù)的讀取參數(shù)讀取待裝載數(shù)據(jù)包括：

所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述待裝載數(shù)據(jù)的讀取參數(shù)和預(yù)定讀取規(guī)則，讀取所述待裝載數(shù)據(jù)中的部分?jǐn)?shù)據(jù)，所述部分?jǐn)?shù)據(jù)是根據(jù)所述預(yù)定讀取規(guī)則確定由所述第一數(shù)據(jù)節(jié)點(diǎn)讀取的數(shù)據(jù)。

5.如權(quán)利要求1所述的方法，其特征在于，

所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述待裝載數(shù)據(jù)的讀取參數(shù)讀取待裝載數(shù)據(jù)包括：

所述第一數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述待裝載數(shù)據(jù)的讀取參數(shù)，讀取所述待裝載數(shù)據(jù)中未被其它數(shù)據(jù)節(jié)點(diǎn)讀取的部分?jǐn)?shù)據(jù)，并標(biāo)記所述部分?jǐn)?shù)據(jù)被讀取。

6.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

接收所述管理節(jié)點(diǎn)發(fā)送的所述分布式事務(wù)的結(jié)束標(biāo)識；

根據(jù)所述結(jié)束標(biāo)識預(yù)提交所述本地事務(wù)；

向所述管理節(jié)點(diǎn)發(fā)送反饋信息，所述反饋信息用于反饋預(yù)提交所述本地事務(wù)成功或失敗的結(jié)果。

7.如權(quán)利要求6所述的方法，其特征在于，當(dāng)所述反饋信息用于反饋預(yù)提交所述本地事務(wù)成功的結(jié)果時，所述反饋信息還攜帶所述本地事務(wù)成功提交的行數(shù)。

8.如權(quán)利要求1-7中任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

當(dāng)所述第一數(shù)據(jù)節(jié)點(diǎn)讀取待裝載數(shù)據(jù)失敗，或者所述第一數(shù)據(jù)節(jié)點(diǎn)預(yù)寫入到所述目標(biāo)數(shù)據(jù)表失敗時，向所述管理節(jié)點(diǎn)發(fā)送反饋信息，所述反饋信息用于表示所述第一數(shù)據(jù)節(jié)點(diǎn)在裝載所述待裝載數(shù)據(jù)的過程中出錯。

9.如權(quán)利要求1-7中任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

接收管理節(jié)點(diǎn)發(fā)送的取消任務(wù)提示信息；

根據(jù)所述取消任務(wù)提示信息停止裝載數(shù)據(jù)，并回滾所述本地事務(wù)。

10.一種裝載數(shù)據(jù)到分布式數(shù)據(jù)倉庫的方法，其特征在于，包括：

獲取待裝載數(shù)據(jù)的讀取參數(shù)和所述待裝載數(shù)據(jù)在分布式數(shù)據(jù)倉庫中的目標(biāo)數(shù)據(jù)表的標(biāo)識；

生成用于裝載待裝載數(shù)據(jù)到所述分布式數(shù)據(jù)倉庫的分布式事務(wù)，并生成數(shù)據(jù)裝載請求，所述數(shù)據(jù)裝載請求攜帶有待裝載數(shù)據(jù)的讀取參數(shù)和所述待裝載數(shù)據(jù)在所述分布式數(shù)據(jù)倉庫中的目標(biāo)數(shù)據(jù)表的標(biāo)識，以及所述分布式事務(wù)的標(biāo)識；

向所述分布式數(shù)據(jù)倉庫的至少一個數(shù)據(jù)節(jié)點(diǎn)發(fā)送數(shù)據(jù)裝載請求，所述數(shù)據(jù)裝載請求用于所述數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述數(shù)據(jù)裝載請求和數(shù)據(jù)分布規(guī)則將讀取的待裝載數(shù)據(jù)中屬于所述數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)預(yù)寫入到所述數(shù)據(jù)節(jié)點(diǎn)的所述目標(biāo)數(shù)據(jù)表中。