[發(fā)明專利]數(shù)據(jù)同步方法和裝置、計(jì)算設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710810902.5
• 申請(qǐng)日: 2017-09-08
• 公開（公告）號(hào): CN110019445B
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 袁建軍;劉業(yè)輝;王彥明
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/28
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 王洵

1.一種數(shù)據(jù)同步方法，包括：

啟動(dòng)多個(gè)并發(fā)執(zhí)行的數(shù)據(jù)抽取任務(wù)，每個(gè)數(shù)據(jù)抽取任務(wù)用于從對(duì)應(yīng)的多個(gè)前端服務(wù)器抽取數(shù)據(jù)；

如果前端服務(wù)器上的文件已被切分，通過所述數(shù)據(jù)抽取任務(wù)從切分文件抽取數(shù)據(jù)，否則從當(dāng)前未切分文件抽取數(shù)據(jù)；以及

通過所述數(shù)據(jù)抽取任務(wù)將抽取的數(shù)據(jù)上傳到數(shù)據(jù)倉(cāng)庫(kù)；

其中，所述多個(gè)并發(fā)執(zhí)行的數(shù)據(jù)抽取任務(wù)在多個(gè)物理機(jī)器上運(yùn)行，并且根據(jù)各個(gè)物理機(jī)器的性能分布在所述多個(gè)物理機(jī)器上。

2.根據(jù)權(quán)利要求1所述的方法，還包括：讀取配置信息，以獲取數(shù)據(jù)在前端服務(wù)器的存放目錄和上傳數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)的目錄。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)前端服務(wù)器按照一定規(guī)則被平均分發(fā)到所述多個(gè)數(shù)據(jù)抽取任務(wù)。

4.一種數(shù)據(jù)同步裝置，包括：

啟動(dòng)單元，被配置為啟動(dòng)多個(gè)并發(fā)執(zhí)行的數(shù)據(jù)抽取任務(wù)，每個(gè)數(shù)據(jù)抽取任務(wù)用于從對(duì)應(yīng)的多個(gè)前端服務(wù)器抽取數(shù)據(jù)

抽取單元，被配置為如果前端服務(wù)器上的文件已被切分，通過所述數(shù)據(jù)抽取任務(wù)從切分文件抽取數(shù)據(jù)，否則從當(dāng)前未切分文件抽取數(shù)據(jù)；

上傳單元，被配置為通過所述數(shù)據(jù)抽取任務(wù)將抽取的數(shù)據(jù)上傳到數(shù)據(jù)倉(cāng)庫(kù)；

其中，所述多個(gè)并發(fā)執(zhí)行的數(shù)據(jù)抽取任務(wù)在多個(gè)物理機(jī)器上運(yùn)行，并且根據(jù)各個(gè)物理機(jī)器的性能分布在所述多個(gè)物理機(jī)器上。

5.根據(jù)權(quán)利要求4所述的裝置，還包括配置讀取單元，被配置為讀取配置信息，以獲取數(shù)據(jù)在前端服務(wù)器的存放目錄和上傳數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)的目錄。

6.根據(jù)權(quán)利要求4所述的裝置，其中，所述多個(gè)前端服務(wù)器按照一定規(guī)則被平均分發(fā)到所述多個(gè)數(shù)據(jù)抽取任務(wù)。

7.一種計(jì)算設(shè)備，包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，

其中，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1至3中任一項(xiàng)所述的方法。

8.一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)可讀指令，所述計(jì)算機(jī) 可讀指令當(dāng)被計(jì)算機(jī)執(zhí)行，使得所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1至3中任一項(xiàng)所述的方法。