[發(fā)明專利]數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110874300.2
• 申請(qǐng)日: 2021-07-30
• 公開（公告）號(hào): CN113656496A
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計(jì)）人: 盧行;周維;張旭明;王豪邁;胥昕
• 申請(qǐng)（專利權(quán)）人: 星辰天合（北京）數(shù)據(jù)科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 黃海英

本申請(qǐng)公開了一種數(shù)據(jù)處理方法及系統(tǒng)。該方法包括：獲取第一數(shù)據(jù)中心的同步任務(wù)中的待同步數(shù)據(jù)；根據(jù)目標(biāo)同步規(guī)則將待同步數(shù)據(jù)同步至第二數(shù)據(jù)中心，其中，第二數(shù)據(jù)中心為目標(biāo)同步規(guī)則所指示的數(shù)據(jù)中心；更新元數(shù)據(jù)集群中待同步數(shù)據(jù)的元數(shù)據(jù)，其中，元數(shù)據(jù)集群用于存儲(chǔ)所有數(shù)據(jù)中心中已存儲(chǔ)數(shù)據(jù)的元數(shù)據(jù)，元數(shù)據(jù)至少包括已存儲(chǔ)數(shù)據(jù)所在的數(shù)據(jù)中心信息。通過本申請(qǐng)，解決了相關(guān)技術(shù)中采用先在本地記錄日志、再根據(jù)日志發(fā)起任務(wù)同步的數(shù)據(jù)同步方式，在各個(gè)節(jié)點(diǎn)之間存在時(shí)延和數(shù)據(jù)沖突的問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)應(yīng)用的高速度發(fā)展，需要對(duì)產(chǎn)生的海量非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)，而對(duì)象存儲(chǔ)能夠提供海量存儲(chǔ)的解決方案，支持百億或者千億不同規(guī)格的對(duì)象的存儲(chǔ)。

在對(duì)象存儲(chǔ)領(lǐng)域中，很多應(yīng)用場(chǎng)景中需要對(duì)存儲(chǔ)數(shù)據(jù)做容災(zāi)和多活，以提升集群的安全可靠性，并且需要在各個(gè)站點(diǎn)進(jìn)行數(shù)據(jù)讀取。

為了對(duì)存儲(chǔ)數(shù)據(jù)做容災(zāi)和多活，需要進(jìn)行數(shù)據(jù)的同步，由于各個(gè)站點(diǎn)相互獨(dú)立，相關(guān)技術(shù)中是先在本地同步記錄日志，然后異步地發(fā)起任務(wù)同步，以將數(shù)據(jù)同步至其他集群，由于同步過程存在一定的時(shí)延，無法做到雙活，且同步的過程其他的節(jié)點(diǎn)無法感知，并且如果多個(gè)站點(diǎn)同時(shí)上傳同名對(duì)象，會(huì)存在沖突的問題。

針對(duì)相關(guān)技術(shù)中采用先在本地記錄日志、再根據(jù)日志發(fā)起任務(wù)同步的數(shù)據(jù)同步方式，在各個(gè)節(jié)點(diǎn)之間存在時(shí)延和數(shù)據(jù)沖突的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法及系統(tǒng)，以解決相關(guān)技術(shù)中采用先在本地記錄日志、再根據(jù)日志發(fā)起任務(wù)同步的數(shù)據(jù)同步方式，在各個(gè)節(jié)點(diǎn)之間存在時(shí)延和數(shù)據(jù)沖突的問題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種數(shù)據(jù)處理方法。該方法包括：獲取第一數(shù)據(jù)中心的同步任務(wù)中的待同步數(shù)據(jù)；根據(jù)目標(biāo)同步規(guī)則將待同步數(shù)據(jù)同步至第二數(shù)據(jù)中心，其中，第二數(shù)據(jù)中心為目標(biāo)同步規(guī)則所指示的數(shù)據(jù)中心；更新元數(shù)據(jù)集群中待同步數(shù)據(jù)的元數(shù)據(jù)，其中，元數(shù)據(jù)集群用于存儲(chǔ)所有數(shù)據(jù)中心中已存儲(chǔ)數(shù)據(jù)的元數(shù)據(jù)，元數(shù)據(jù)至少包括已存儲(chǔ)數(shù)據(jù)所在的數(shù)據(jù)中心信息。

可選地，在根據(jù)目標(biāo)同步規(guī)則將待同步數(shù)據(jù)同步至第二數(shù)據(jù)中心之前，該方法還包括：從數(shù)據(jù)存儲(chǔ)桶中匹配待同步數(shù)據(jù)對(duì)應(yīng)的同步規(guī)則，得到目標(biāo)同步規(guī)則，其中，數(shù)據(jù)存儲(chǔ)桶內(nèi)設(shè)置有不同數(shù)據(jù)的處理規(guī)則，處理規(guī)則中包括同步規(guī)則，目標(biāo)同步規(guī)則中至少包含待同步至的數(shù)據(jù)中心的名稱信息。

可選地，同步規(guī)則包括：數(shù)據(jù)中心之間的雙向同步規(guī)則，或數(shù)據(jù)中心之間的單向同步規(guī)則。

可選地，元數(shù)據(jù)集群包括多個(gè)副本，在多個(gè)副本中大于半數(shù)的副本的元數(shù)據(jù)更新完成后，確定待同步數(shù)據(jù)的元數(shù)據(jù)更新成功。

可選地，待同步數(shù)據(jù)是從客戶端上傳至第一數(shù)據(jù)中心的數(shù)據(jù)，在獲取第一數(shù)據(jù)中心的同步任務(wù)中的待同步數(shù)據(jù)之前，該方法還包括：根據(jù)客戶端的訪問地址從所有數(shù)據(jù)中心確定第一數(shù)據(jù)中心；根據(jù)可用存儲(chǔ)空間從第一數(shù)據(jù)中心的多個(gè)存儲(chǔ)后端中確定目標(biāo)存儲(chǔ)后端；將客戶端中的數(shù)據(jù)上傳至第一數(shù)據(jù)中心的目標(biāo)存儲(chǔ)后端中。

可選地，在將客戶端中的數(shù)據(jù)上傳至第一數(shù)據(jù)中心的目標(biāo)存儲(chǔ)后端中之后，該方法還包括：生成已上傳數(shù)據(jù)對(duì)應(yīng)的日志信息，其中，日志信息中至少包含已上傳數(shù)據(jù)的名稱信息。

可選地，從數(shù)據(jù)存儲(chǔ)桶中匹配待同步數(shù)據(jù)對(duì)應(yīng)的同步規(guī)則，得到目標(biāo)同步規(guī)則包括：從日志信息中獲取待同步數(shù)據(jù)的名稱信息；根據(jù)待同步數(shù)據(jù)的名稱信息從數(shù)據(jù)存儲(chǔ)桶中匹配待同步數(shù)據(jù)對(duì)應(yīng)的同步規(guī)則。

可選地，數(shù)據(jù)存儲(chǔ)桶內(nèi)的處理規(guī)則包括數(shù)據(jù)讀取規(guī)則，該方法還包括：確定客戶端的待讀取數(shù)據(jù)；從數(shù)據(jù)存儲(chǔ)桶中匹配待讀取數(shù)據(jù)對(duì)應(yīng)的讀取規(guī)則，得到目標(biāo)讀取規(guī)則，其中，讀取規(guī)則為以下之一：強(qiáng)一致性讀取規(guī)則和弱一致性讀取規(guī)則；根據(jù)目標(biāo)讀取規(guī)則從目標(biāo)數(shù)據(jù)中心中將待讀取數(shù)據(jù)讀取至客戶端。