[發(fā)明專利]多機(jī)房之間進(jìn)行業(yè)務(wù)數(shù)據(jù)同步的方法及裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010896795.4
• 申請(qǐng)日: 2020-08-31
• 公開(kāi)（公告）號(hào): CN112182095A
• 公開(kāi)（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 左丹
• 申請(qǐng)（專利權(quán)）人: 福州智象信息技術(shù)有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/25;G06F9/54
• 代理公司: 福州市鼓樓區(qū)京華專利事務(wù)所(普通合伙) 35212
• 代理人: 林燕

本發(fā)明提供一種多機(jī)房之間進(jìn)行業(yè)務(wù)數(shù)據(jù)同步的方法及裝置、設(shè)備和介質(zhì)，方法包括：業(yè)務(wù)服務(wù)以及同步服務(wù)；設(shè)置一數(shù)據(jù)同步框架，通過(guò)代碼侵入每個(gè)服務(wù)器端，統(tǒng)一接管同步模式；若數(shù)據(jù)產(chǎn)生修改，則被攔截至業(yè)務(wù)服務(wù)的隊(duì)列中，將其進(jìn)行序列化；業(yè)務(wù)服務(wù)將序列化的數(shù)據(jù)發(fā)送至同步服務(wù)；同步服務(wù)將接收的序列化的數(shù)據(jù)進(jìn)行數(shù)據(jù)反序列化操作，寫入遠(yuǎn)端的服務(wù)器中，支持不同機(jī)房間數(shù)據(jù)的多向同步。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種多機(jī)房之間進(jìn)行業(yè)務(wù)數(shù)據(jù)同步的方法及裝置、設(shè)備和介質(zhì)。

背景技術(shù)

當(dāng)存在多個(gè)機(jī)房之間的數(shù)據(jù)需要進(jìn)行同步時(shí)，現(xiàn)有市面上的產(chǎn)品大都是針對(duì)某個(gè)庫(kù)/表進(jìn)行整個(gè)同步，細(xì)粒度很粗，無(wú)法按業(yè)務(wù)、按需對(duì)特定的數(shù)據(jù)進(jìn)行同步。而且缺乏對(duì)redis，es等數(shù)據(jù)進(jìn)行多向數(shù)據(jù)同步的整體解決方案。

以redis為例，目前主要通過(guò)節(jié)點(diǎn)之間進(jìn)行主從配置實(shí)現(xiàn)同步，允許存在一個(gè)寫節(jié)點(diǎn)，多個(gè)從節(jié)點(diǎn)，但如果是跨機(jī)房，多區(qū)域數(shù)據(jù)的多寫同步，redis本身的主從配置無(wú)法實(shí)現(xiàn)，目前基本都采用的是基于主從協(xié)議的數(shù)據(jù)復(fù)制，采用MQ等中間件來(lái)實(shí)現(xiàn)跨機(jī)房的傳輸來(lái)實(shí)現(xiàn)，以redis的同步工具XPipe為例，其流程如下：

如圖1所示，Slave keeper(偽裝為redis slave)收集redis日志，然后將日志交由proxy進(jìn)行壓縮，同步。同時(shí)proxy也負(fù)責(zé)接受來(lái)自對(duì)方的數(shù)據(jù)，回寫至Masterkeeper(偽裝為redis master)。

XPipe無(wú)法支持多區(qū)域(超過(guò)2個(gè)機(jī)房)下的雙寫，同時(shí)采用了主從協(xié)議下的日志去更新，所以也無(wú)法從業(yè)務(wù)上控制同步粒度，必須整個(gè)redis一起同步。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題，在于提供一種多機(jī)房之間進(jìn)行業(yè)務(wù)數(shù)據(jù)同步的方法及裝置、設(shè)備和介質(zhì)，支持不同機(jī)房間數(shù)據(jù)的多向同步。

第一方面，本發(fā)明提供了一種多機(jī)房之間進(jìn)行業(yè)務(wù)數(shù)據(jù)同步的方法，包括：業(yè)務(wù)服務(wù)以及同步服務(wù)；

步驟1、設(shè)置一數(shù)據(jù)同步框架，通過(guò)代碼侵入每個(gè)服務(wù)器端，統(tǒng)一接管同步模式；

步驟2、若數(shù)據(jù)產(chǎn)生修改，則被攔截至業(yè)務(wù)服務(wù)的隊(duì)列中，將其進(jìn)行序列化；

步驟3、業(yè)務(wù)服務(wù)將序列化的數(shù)據(jù)發(fā)送至同步服務(wù)；

步驟4、同步服務(wù)將接收的序列化的數(shù)據(jù)進(jìn)行數(shù)據(jù)反序列化操作，寫入遠(yuǎn)端的服務(wù)器中。

進(jìn)一步地，所述數(shù)據(jù)同步框架中封裝了Elasticsearch組件、Rabbitmq組件、Redis組件以及Mysql組件，用于提供Elasticsearch服務(wù)、Rabbitmq服務(wù)、Redis服務(wù)以及Mysql服務(wù)，并提供與原sdk一致的接口。

進(jìn)一步地，所述步驟4進(jìn)一步具體為：同步服務(wù)將接收的序列化的數(shù)據(jù)進(jìn)行數(shù)據(jù)反序列化為mysql client、Elasticsearchclient、redis client或mq client的操作，寫入遠(yuǎn)端的服務(wù)器中對(duì)應(yīng)的Elasticsearch服務(wù)、Rabbitmq服務(wù)、Redis服務(wù)以及Mysql服務(wù)。

第二方面，本發(fā)明提供了一種多機(jī)房之間進(jìn)行業(yè)務(wù)數(shù)據(jù)同步的裝置，包括：業(yè)務(wù)服務(wù)以及同步服務(wù)；

侵入模塊，設(shè)置一數(shù)據(jù)同步框架，通過(guò)代碼侵入服務(wù)器端，統(tǒng)一接管同步模式；

序列化模塊，若數(shù)據(jù)產(chǎn)生修改，則被攔截至業(yè)務(wù)服務(wù)的隊(duì)列中，將其進(jìn)行序列化；

發(fā)送模塊，業(yè)務(wù)服務(wù)將序列化的數(shù)據(jù)發(fā)送至同步服務(wù)；

同步模塊，同步服務(wù)將接收的序列化的數(shù)據(jù)進(jìn)行數(shù)據(jù)反序列化操作，寫入遠(yuǎn)端的服務(wù)器中。