[發(fā)明專利]用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法及裝置

有效

• 申請?zhí)枺?/td>: 202110457235.3
• 申請日: 2021-04-27
• 公開（公告）號: CN112988905B
• 公開（公告）日: 2021-08-10
• 發(fā)明（設(shè)計）人: 李小杰
• 申請（專利權(quán)）人: 北京沃豐時代數(shù)據(jù)科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/50
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 郭亮

本發(fā)明提供一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法及裝置，該方法包括：在次要節(jié)點(diǎn)登錄首要節(jié)點(diǎn)之后，根據(jù)同步信息，獲取所述次要節(jié)點(diǎn)所需的同步業(yè)務(wù)數(shù)據(jù)，所述同步信息中包含有所述同步業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)類型；對所述同步業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)序列化處理，得到序列化內(nèi)存業(yè)務(wù)數(shù)據(jù)；將所述序列化內(nèi)存業(yè)務(wù)數(shù)據(jù)發(fā)送到所述次要節(jié)點(diǎn)，以供所述次要節(jié)點(diǎn)根據(jù)所述序列化內(nèi)存業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)數(shù)據(jù)同步。本發(fā)明根據(jù)業(yè)務(wù)類型，利用次要節(jié)點(diǎn)向首要節(jié)點(diǎn)發(fā)起同步請求，再通過首要節(jié)點(diǎn)對業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)做快照，從而將數(shù)據(jù)文件通過網(wǎng)絡(luò)同步到次要節(jié)點(diǎn)。該方案可用于多種場景，并提升了讀寫效率，只需使用簡單的協(xié)議約束，即可完成文件傳輸功能。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)同步技術(shù)領(lǐng)域，尤其涉及一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法及裝置。

背景技術(shù)

在集群部署環(huán)境內(nèi)，客戶端所有的更新在首要（Primary）節(jié)點(diǎn)上進(jìn)行，查詢在次要（Secondary）節(jié)點(diǎn)進(jìn)行。當(dāng)次要節(jié)點(diǎn)發(fā)起更新請求時，可以從首要節(jié)點(diǎn)獲取到最新的業(yè)務(wù)數(shù)據(jù)。

現(xiàn)有技術(shù)大多是基于主從結(jié)構(gòu)的冗余以及容錯進(jìn)行集群部署設(shè)計的，比如Redis，數(shù)據(jù)可以從首要節(jié)點(diǎn)向任意數(shù)量的次要節(jié)點(diǎn)上同步，實現(xiàn)全量數(shù)據(jù)同步和增量同步。但是，Redis同步機(jī)制復(fù)雜，應(yīng)用場景特別，無法根據(jù)業(yè)務(wù)進(jìn)行同步。

因此，現(xiàn)在亟需一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法及裝置來解決上述問題。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法及裝置。

本發(fā)明提供一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法，包括：

在次要節(jié)點(diǎn)登錄首要節(jié)點(diǎn)之后，根據(jù)同步信息，獲取所述次要節(jié)點(diǎn)所需的同步業(yè)務(wù)數(shù)據(jù)，所述同步信息中包含有所述同步業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)類型；

對所述同步業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)序列化處理，得到序列化內(nèi)存業(yè)務(wù)數(shù)據(jù)；

將所述序列化內(nèi)存業(yè)務(wù)數(shù)據(jù)發(fā)送到所述次要節(jié)點(diǎn)，以供所述次要節(jié)點(diǎn)根據(jù)所述序列化內(nèi)存業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)數(shù)據(jù)同步。

根據(jù)本發(fā)明提供的一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法，在所述根據(jù)同步信息，獲取所述次要節(jié)點(diǎn)所需的同步業(yè)務(wù)數(shù)據(jù)之前，所述方法還包括：

獲取所述次要節(jié)點(diǎn)發(fā)送的登錄信息，以使得所述次要節(jié)點(diǎn)登錄首要節(jié)點(diǎn)，所述登錄信息中包含有所述次要節(jié)點(diǎn)中每種業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)類型。

根據(jù)本發(fā)明提供的一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法，所述對所述同步業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)序列化處理，得到序列化內(nèi)存業(yè)務(wù)數(shù)據(jù)，包括：

對所述同步業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)量進(jìn)行判斷，若所述數(shù)據(jù)量大于等于4K數(shù)據(jù)，則根據(jù)所述同步業(yè)務(wù)數(shù)據(jù)對應(yīng)的業(yè)務(wù)數(shù)據(jù)類型，對所述同步業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)序列化處理；

若所述數(shù)據(jù)量小于4K數(shù)據(jù)，則直接將所述同步業(yè)務(wù)數(shù)據(jù)發(fā)送到次要節(jié)點(diǎn)，以供所述次要節(jié)點(diǎn)根據(jù)所述同步業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)數(shù)據(jù)同步。

根據(jù)本發(fā)明提供的一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法，在所述根據(jù)所述同步業(yè)務(wù)數(shù)據(jù)對應(yīng)的業(yè)務(wù)數(shù)據(jù)類型，對所述同步業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)序列化處理之后，所述方法還包括：

基于同步業(yè)務(wù)數(shù)據(jù)的存儲位置、數(shù)據(jù)量和版本信息，構(gòu)建每個業(yè)務(wù)數(shù)據(jù)類型對應(yīng)的索引文件。

本發(fā)明還提供一種用于集群部署的節(jié)點(diǎn)內(nèi)存同步方法，包括：

根據(jù)內(nèi)存中業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)類型，構(gòu)建登錄信息；

將所述登錄信息發(fā)送到首要節(jié)點(diǎn)，以建立與所述首要節(jié)點(diǎn)之間的登錄連接；

根據(jù)內(nèi)存中待進(jìn)行同步的業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)類型，構(gòu)建同步信息，并將所述同步信息發(fā)送到所述首要節(jié)點(diǎn)；