[發(fā)明專利]數(shù)據(jù)處理方法、裝置、系統(tǒng)、電子設(shè)備及計算機存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010073823.2
• 申請日: 2020-01-22
• 公開（公告）號: CN111291008B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計）人: 王若;朱國云;王正恒;付秋雷
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/23;G06F16/27
• 代理公司: 北京合智同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰;蘭淑鐸

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、電子設(shè)備及計算機存儲介質(zhì)，其中，一種數(shù)據(jù)處理方法包括：待進行數(shù)據(jù)同步的接收端設(shè)備接收發(fā)送端設(shè)備發(fā)送的數(shù)據(jù)庫日志，其中，所述數(shù)據(jù)庫日志中攜帶有用于指示所述數(shù)據(jù)庫日志的狀態(tài)的狀態(tài)信息；所述接收端設(shè)備獲取所述數(shù)據(jù)庫日志中的所述狀態(tài)信息，對所述數(shù)據(jù)庫日志進行落盤操作并將所述數(shù)據(jù)庫日志的狀態(tài)信息修改為預(yù)設(shè)狀態(tài)的狀態(tài)信息，以根據(jù)所述預(yù)設(shè)狀態(tài)的狀態(tài)信息確定不向所述發(fā)送端設(shè)備回發(fā)修改了所述狀態(tài)信息后的數(shù)據(jù)庫日志。通過本發(fā)明實施例，避免了使用異地多活提供服務(wù)的系統(tǒng)在進行不同位置的雙向數(shù)據(jù)同步時導(dǎo)致的數(shù)據(jù)回環(huán)問題，避免了無效流量的產(chǎn)生。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及計算機技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、電子設(shè)備及計算機存儲介質(zhì)。

背景技術(shù)

異地多活(Multi-Master)是一種數(shù)據(jù)庫和存儲領(lǐng)域的高級服務(wù)，通過部署在多個地理位置的數(shù)據(jù)庫服務(wù)或存儲服務(wù)提供讀寫能力，底層進行數(shù)據(jù)相互同步。例如，一個數(shù)據(jù)庫服務(wù)在A地部署，同時也可以在B地、C地、D地等等其他位置部署，這些位置部署的該數(shù)據(jù)庫服務(wù)均可提供給業(yè)務(wù)本地(local)讀寫的能力。

以在A地和B地部署的數(shù)據(jù)庫服務(wù)為例，則A地與B地同時提供給業(yè)務(wù)本地讀寫該數(shù)據(jù)庫服務(wù)的能力。若A地有數(shù)據(jù)改動，通過A地與B地之間的數(shù)據(jù)同步服務(wù)，能夠使得B地的數(shù)據(jù)庫服務(wù)也獲得A地的數(shù)據(jù)改動，反之亦然。

可見，在異地多活系統(tǒng)中，A地和B地的雙向數(shù)據(jù)同步是其中的重要環(huán)節(jié)。但在該環(huán)節(jié)的實現(xiàn)過程中，除去A地和B地的雙向數(shù)據(jù)同步，還存在著“數(shù)據(jù)回環(huán)”問題。例如，對于同一數(shù)據(jù)庫實例，在A地對該數(shù)據(jù)庫實例進行了數(shù)據(jù)改動，發(fā)送到B地后，B地需要認出這個改動。否則，B地就會再次將這個改動發(fā)回A地，導(dǎo)致該改動對應(yīng)的數(shù)據(jù)被來回發(fā)送。該“數(shù)據(jù)回環(huán)”問題對于更多位置間，如上述A地、B地、C地和D地間兩兩的雙向數(shù)據(jù)同步也同樣存在。

目前，解決數(shù)據(jù)回環(huán)的主要方式是通過實例標(biāo)識如實例id對數(shù)據(jù)庫日志進行過濾的方式，例如，當(dāng)設(shè)備A發(fā)送某一數(shù)據(jù)庫日志時，需要檢測該數(shù)據(jù)庫日志中是否存在由其它設(shè)備如設(shè)備B發(fā)送過的數(shù)據(jù)庫實例id，如果有，則需要過濾掉這個數(shù)據(jù)庫實例id對應(yīng)的日志數(shù)據(jù)。由此，一方面，對于發(fā)送端來說，需要記錄大量的數(shù)據(jù)庫實例id和比對邏輯；另一方面，發(fā)送端因需要記錄每個數(shù)據(jù)庫實例的信息，導(dǎo)致匯聚大量數(shù)據(jù)流量；再一方面，數(shù)據(jù)庫實例id也不能更換。

總之，現(xiàn)有的異地多活系統(tǒng)的數(shù)據(jù)同步方式，會導(dǎo)致不同地理位置間(例如，A地和B地之間)的數(shù)據(jù)庫服務(wù)或存儲服務(wù)產(chǎn)生大量的無效數(shù)據(jù)和無效流量，且缺乏數(shù)據(jù)庫實例處理靈活性。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種數(shù)據(jù)處理方案，以至少部分解決上述問題。

根據(jù)本發(fā)明實施例的第一方面，提供了一種數(shù)據(jù)處理方法，包括：待進行數(shù)據(jù)同步的接收端設(shè)備接收發(fā)送端設(shè)備發(fā)送的數(shù)據(jù)庫日志，其中，所述數(shù)據(jù)庫日志中攜帶有用于指示所述數(shù)據(jù)庫日志的狀態(tài)的狀態(tài)信息；所述接收端設(shè)備獲取所述數(shù)據(jù)庫日志中的所述狀態(tài)信息，對所述數(shù)據(jù)庫日志進行落盤操作并將所述數(shù)據(jù)庫日志的狀態(tài)信息修改為預(yù)設(shè)狀態(tài)的狀態(tài)信息，以根據(jù)所述預(yù)設(shè)狀態(tài)的狀態(tài)信息確定不向所述發(fā)送端設(shè)備回發(fā)修改了所述狀態(tài)信息后的數(shù)據(jù)庫日志。

根據(jù)本發(fā)明實施例的第二方面，提供了另一種數(shù)據(jù)處理方法，包括：待進行數(shù)據(jù)同步的發(fā)送端設(shè)備根據(jù)數(shù)據(jù)同步指令，獲取攜帶有用于指示數(shù)據(jù)庫日志的狀態(tài)的狀態(tài)信息的數(shù)據(jù)庫日志；將所述數(shù)據(jù)庫日志發(fā)送給待進行數(shù)據(jù)同步的接收端設(shè)備，以使所述接收端設(shè)備根據(jù)所述數(shù)據(jù)庫日志進行與所述發(fā)送端設(shè)備的數(shù)據(jù)同步。

根據(jù)本發(fā)明實施例的第三方面，提供了再一種數(shù)據(jù)處理方法，包括：獲取用于進行數(shù)據(jù)同步的數(shù)據(jù)庫日志的狀態(tài)信息，所述狀態(tài)信息用于指示所述數(shù)據(jù)庫日志的當(dāng)前狀態(tài)；根據(jù)數(shù)據(jù)同步指令，傳輸所述數(shù)據(jù)庫日志至目標(biāo)端，并通過所述目標(biāo)端確定和/或更新所述數(shù)據(jù)庫日志的狀態(tài)信息。