[發(fā)明專利]集群間數(shù)據(jù)同步的方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210233982.3
• 申請(qǐng)日: 2022-03-10
• 公開(kāi)（公告）號(hào): CN114564458A
• 公開(kāi)（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 李偉;劉洪棟;孟祥瑞
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F16/178
• 分類號(hào): G06F16/178;G06F16/182;G06F16/13;G06F16/16
• 代理公司: 北京市萬(wàn)慧達(dá)律師事務(wù)所 11111
• 代理人: 黃玉東

本申請(qǐng)涉及一種集群間數(shù)據(jù)同步的方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，應(yīng)用于包括主集群和從集群的系統(tǒng)；主集群中的節(jié)點(diǎn)以及從集群中的節(jié)點(diǎn)設(shè)置有對(duì)應(yīng)的復(fù)制單元，其主要技術(shù)方案包括：主集群的復(fù)制單元從對(duì)應(yīng)的節(jié)點(diǎn)獲取元數(shù)據(jù)信息，將獲取到的元數(shù)據(jù)信息寫入數(shù)據(jù)索引表，得到第一索引表信息，并將第一索引表發(fā)送至從集群的復(fù)制單元；從集群的復(fù)制單元接收第一索引表信息，以利用第一索引表信息進(jìn)行從主集群到從集群的數(shù)據(jù)同步。本申請(qǐng)具有降低數(shù)據(jù)同步對(duì)主集群本身服務(wù)性能的影響。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)傳輸技術(shù)領(lǐng)域，特別是涉及一種集群間數(shù)據(jù)同步的方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

分布式文件系統(tǒng)(Distributed File System，DFS)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連；或是若干不同的邏輯磁盤分區(qū)或卷標(biāo)組合在一起而形成的完整的有層次的文件系統(tǒng)；簡(jiǎn)言之，其是由多臺(tái)分布式文件系統(tǒng)服務(wù)器組成的一個(gè)對(duì)外提供分布式文件系統(tǒng)服務(wù)的系統(tǒng)。

在目前的分布式文件系統(tǒng)中，為了能夠保證集群在發(fā)生故障狀態(tài)下依然可以提供基本的分布式文件系統(tǒng)服務(wù)，提出了遠(yuǎn)程復(fù)制的概念，即在不同的地點(diǎn)布置主從兩套分布式文件系統(tǒng)集群，主集群除對(duì)外提供分布式文件系統(tǒng)服務(wù)外，還要在合適的時(shí)機(jī)向從集群同步當(dāng)前的數(shù)據(jù)信息，以保證從集群中的數(shù)據(jù)與主集群盡量一致，從而在主從集群切換時(shí)盡量降低集群故障對(duì)上層應(yīng)用的影響。

然而，在分布式文件系統(tǒng)集群中，系統(tǒng)中的數(shù)據(jù)量在某些場(chǎng)景下可達(dá)百億級(jí)別，這種數(shù)據(jù)量的主從集群數(shù)據(jù)同步將占用大量的網(wǎng)絡(luò)、cpu等系統(tǒng)資源，對(duì)主集群的對(duì)外服務(wù)影響巨大。

發(fā)明內(nèi)容

基于此，本申請(qǐng)?zhí)峁┝艘环N集群間數(shù)據(jù)同步的方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，以降低數(shù)據(jù)同步對(duì)主集群性能的影響。

第一方面，提供一種集群間數(shù)據(jù)同步的方法，該方法包括：

主集群的復(fù)制單元從對(duì)應(yīng)的節(jié)點(diǎn)獲取元數(shù)據(jù)信息，將獲取到的元數(shù)據(jù)信息寫入數(shù)據(jù)索引表，得到第一索引表信息，并將第一索引表發(fā)送至從集群的復(fù)制單元；

從集群的復(fù)制單元接收第一索引表信息，以利用第一索引表信息進(jìn)行從主集群到從集群的數(shù)據(jù)同步。

根據(jù)本申請(qǐng)實(shí)施例中一種可實(shí)現(xiàn)的方式，主集群的復(fù)制單元包括主復(fù)制單元和從復(fù)制單元；上述主集群的復(fù)制單元從對(duì)應(yīng)的節(jié)點(diǎn)獲取元數(shù)據(jù)信息，將獲取到的元數(shù)據(jù)信息寫入數(shù)據(jù)索引表，得到第一索引表信息，并將第一索引表發(fā)送至從集群的復(fù)制單元，還包括：

主集群的主復(fù)制單元接收主集群的從復(fù)制單元上報(bào)的元數(shù)據(jù)信息；

根據(jù)接收到的元數(shù)據(jù)信息和從主集群的主復(fù)制單元對(duì)應(yīng)的節(jié)點(diǎn)獲取的元數(shù)據(jù)信息對(duì)數(shù)據(jù)索引表進(jìn)行增量記錄，得到第一索引表信息；

主集群的主復(fù)制單元將第一索引表信息發(fā)送至從集群的復(fù)制單元。

根據(jù)本申請(qǐng)實(shí)施例中一種可實(shí)現(xiàn)的方式，該方法還包括：

若超過(guò)設(shè)定時(shí)長(zhǎng)仍存在主集群的從復(fù)制單元未上報(bào)元數(shù)據(jù)信息，則主集群的主復(fù)制單元通過(guò)人機(jī)交互界面進(jìn)行告警。

根據(jù)本申請(qǐng)實(shí)施例中一種可實(shí)現(xiàn)的方式，從集群的復(fù)制單元包括主復(fù)制單元和從復(fù)制單元；上述從集群的復(fù)制單元接收第一索引表信息，以利用第一索引表信息進(jìn)行從主集群到從集群的數(shù)據(jù)同步，還包括：

從集群的主復(fù)制單元接收第一索引表信息，將接收到的第一索引表信息與之前接收到的尚未用于數(shù)據(jù)同步的第一索引表信息合并，得到第二索引表信息；

將第二索引表信息同步至從集群的從復(fù)制單元，依據(jù)第二索引表信息進(jìn)行從主集群到從集群的數(shù)據(jù)同步。

根據(jù)本申請(qǐng)實(shí)施例中一種可實(shí)現(xiàn)的方式，上述依據(jù)第二索引表信息進(jìn)行從主集群到從集群的數(shù)據(jù)同步，還包括：