[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911159486.2
• 申請(qǐng)日: 2019-11-22
• 公開(kāi)（公告）號(hào): CN112835862A
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 洪亮;趙健博;陳林;趙博;于海洋
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06F16/178
• 分類號(hào): G06F16/178;G06F16/182;G06F9/50
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 李娜

1.一種數(shù)據(jù)同步方法，其特征在于，應(yīng)用于同步服務(wù)器，所述方法包括：

讀取分布式應(yīng)用程序協(xié)調(diào)系統(tǒng)中的多個(gè)同步任務(wù)，每個(gè)所述同步任務(wù)包含任務(wù)分配對(duì)象，同步數(shù)據(jù)的源地址及目的地址；

當(dāng)存在多個(gè)所述同步任務(wù)的任務(wù)分配對(duì)象為所述同步服務(wù)器時(shí)，針對(duì)每個(gè)所述同步任務(wù)建立多組消費(fèi)者線程和生產(chǎn)者線程；

根據(jù)每個(gè)所述同步數(shù)據(jù)的源地址，啟動(dòng)對(duì)應(yīng)的消費(fèi)者線程連接源同步對(duì)象進(jìn)行同步數(shù)據(jù)讀取；

根據(jù)每個(gè)所述同步數(shù)據(jù)的目的地址，啟動(dòng)對(duì)應(yīng)的生產(chǎn)者線程連接目的同步對(duì)象進(jìn)行同步數(shù)據(jù)的寫入。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，在所述根據(jù)每個(gè)所述同步數(shù)據(jù)的源地址，啟動(dòng)對(duì)應(yīng)的消費(fèi)者線程連接源同步對(duì)象進(jìn)行同步數(shù)據(jù)讀取之后，還包括；

將讀取的同步數(shù)據(jù)放入同步隊(duì)列中；

根據(jù)每個(gè)所述同步數(shù)據(jù)的目的地址，啟動(dòng)對(duì)應(yīng)的生產(chǎn)者線程連接目的同步對(duì)象進(jìn)行同步數(shù)據(jù)的寫入，包括：

讀取所述同步隊(duì)列中的同步數(shù)據(jù)，根據(jù)所述同步數(shù)據(jù)對(duì)應(yīng)的生產(chǎn)者線程，連接目的同步對(duì)象進(jìn)行同步數(shù)據(jù)的寫入。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述同步任務(wù)中還包括所述同步數(shù)據(jù)對(duì)應(yīng)的所述源地址中的源主題，以及所述同步數(shù)據(jù)對(duì)應(yīng)的所述目的地址中的目的主題；

所述根據(jù)每個(gè)所述同步數(shù)據(jù)的源地址，啟動(dòng)對(duì)應(yīng)的消費(fèi)者線程連接源同步對(duì)象進(jìn)行同步數(shù)據(jù)讀取，包括：

根據(jù)每個(gè)所述同步數(shù)據(jù)的源地址，啟動(dòng)對(duì)應(yīng)的消費(fèi)者線程連接源同步對(duì)象，讀取所述源主題下的所述同步數(shù)據(jù)；

所述根據(jù)每個(gè)所述同步數(shù)據(jù)的目的地址，啟動(dòng)對(duì)應(yīng)的生產(chǎn)者線程連接目的同步對(duì)象進(jìn)行同步數(shù)據(jù)的寫入，包括：

根據(jù)每個(gè)所述同步數(shù)據(jù)的目的地址，啟動(dòng)對(duì)應(yīng)的生產(chǎn)者線程連接目的同步對(duì)象，將所述同步數(shù)據(jù)寫入所述目的主題。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述根據(jù)每個(gè)所述同步數(shù)據(jù)的目的地址，啟動(dòng)對(duì)應(yīng)的生產(chǎn)者線程連接目的同步對(duì)象進(jìn)行同步數(shù)據(jù)的寫入，包括：

當(dāng)所述同步數(shù)據(jù)的目的地址為分布式文件系統(tǒng)HDFS地址時(shí)，調(diào)用分布式文件系統(tǒng)接口，啟動(dòng)對(duì)應(yīng)的生產(chǎn)者線程，通過(guò)所述分布式文件系統(tǒng)接口連接目的同步對(duì)象進(jìn)行同步數(shù)據(jù)的寫入。

5.一種數(shù)據(jù)同步方法，其特征在于，應(yīng)用于控制服務(wù)器，所述方法包括：

接收數(shù)據(jù)同步請(qǐng)求，所述數(shù)據(jù)同步請(qǐng)求包括：同步數(shù)據(jù)的源地址和目的地址；

根據(jù)所述同步請(qǐng)求對(duì)同步服務(wù)器進(jìn)行任務(wù)分配，生成同步任務(wù)；

將所述同步任務(wù)寫入到分布式應(yīng)用程序協(xié)調(diào)系統(tǒng)，以使所述同步服務(wù)器根據(jù)所述分布式應(yīng)用程序協(xié)調(diào)系統(tǒng)中的同步任務(wù)進(jìn)行數(shù)據(jù)同步，其中，每個(gè)所述同步任務(wù)包含任務(wù)分配對(duì)象，同步數(shù)據(jù)的源地址及目的地址。

6.一種數(shù)據(jù)同步裝置，其特征在于，應(yīng)用于同步服務(wù)器，包括：

讀取模塊，被配置為讀取分布式應(yīng)用程序協(xié)調(diào)系統(tǒng)中的多個(gè)同步任務(wù)，每個(gè)所述同步任務(wù)包含任務(wù)分配對(duì)象，同步數(shù)據(jù)的源地址及目的地址；

線程模塊，被配置為當(dāng)存在多個(gè)所述同步任務(wù)的任務(wù)分配對(duì)象為所述同步服務(wù)器時(shí)，針對(duì)每個(gè)所述同步任務(wù)建立多組消費(fèi)者線程和生產(chǎn)者線程；

消費(fèi)模塊，被配置為根據(jù)每個(gè)所述同步數(shù)據(jù)的源地址，啟動(dòng)對(duì)應(yīng)的消費(fèi)者線程連接源同步對(duì)象進(jìn)行同步數(shù)據(jù)讀取；

生產(chǎn)模塊，被配置為根據(jù)每個(gè)所述同步數(shù)據(jù)的目的地址，啟動(dòng)對(duì)應(yīng)的生產(chǎn)者線程連接目的同步對(duì)象進(jìn)行同步數(shù)據(jù)的寫入。

7.一種數(shù)據(jù)同步裝置，其特征在于，應(yīng)用于控制服務(wù)器，包括：

接收模塊，被配置為接收數(shù)據(jù)同步請(qǐng)求，所述同步請(qǐng)求包括：同步數(shù)據(jù)的源地址和目的地址；

分配模塊，被配置為根據(jù)所述數(shù)據(jù)同步請(qǐng)求對(duì)同步服務(wù)器進(jìn)行任務(wù)分配，生成同步任務(wù)；

數(shù)據(jù)同步模塊，被配置為將所述同步任務(wù)寫入到分布式應(yīng)用程序協(xié)調(diào)系統(tǒng)，以使所述同步服務(wù)器根據(jù)所述分布式應(yīng)用程序協(xié)調(diào)系統(tǒng)中的同步任務(wù)進(jìn)行數(shù)據(jù)同步，其中，每個(gè)所述同步任務(wù)包含任務(wù)分配對(duì)象，同步數(shù)據(jù)的源地址及目的地址。