[發明專利]數據處理方法及系統

在審

• 申請號: 202110874300.2
• 申請日: 2021-07-30
• 公開（公告）號: CN113656496A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 盧行;周維;張旭明;王豪邁;胥昕
• 申請（專利權）人: 星辰天合（北京）數據科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 黃海英

1.一種數據處理方法，其特征在于，包括：

獲取第一數據中心的同步任務中的待同步數據；

根據目標同步規則將所述待同步數據同步至第二數據中心，其中，所述第二數據中心為所述目標同步規則所指示的數據中心；

更新元數據集群中所述待同步數據的元數據，其中，所述元數據集群用于存儲所有數據中心中已存儲數據的元數據，所述元數據至少包括所述已存儲數據所在的數據中心信息。

2.根據權利要求1所述的方法，其特征在于，在所述根據目標同步規則將所述待同步數據同步至第二數據中心之前，所述方法還包括：

從數據存儲桶中匹配所述待同步數據對應的同步規則，得到所述目標同步規則，其中，所述數據存儲桶內設置有不同數據的處理規則，所述處理規則中包括同步規則，所述目標同步規則中至少包含待同步至的數據中心的名稱信息。

3.根據權利要求1所述的方法，其特征在于，所述同步規則包括：所述數據中心之間的雙向同步規則，或所述數據中心之間的單向同步規則。

4.根據權利要求1所述的方法，其特征在于，所述元數據集群包括多個副本，在所述多個副本中大于半數的副本的元數據更新完成后，確定所述待同步數據的元數據更新成功。

5.根據權利要求2所述的方法，其特征在于，所述待同步數據是從客戶端上傳至所述第一數據中心的數據，在所述獲取第一數據中心的同步任務中的待同步數據之前，所述方法還包括：

根據所述客戶端的訪問地址從所有數據中心中確定所述第一數據中心；

根據可用存儲空間從所述第一數據中心的多個存儲后端中確定目標存儲后端；

將所述客戶端中的數據上傳至所述第一數據中心的所述目標存儲后端中。

6.根據權利要求5所述的方法，其特征在于，在所述將所述客戶端中的數據上傳至所述第一數據中心的所述目標存儲后端中之后，所述方法還包括：

生成已上傳數據對應的日志信息，其中，所述日志信息中至少包含所述已上傳數據的名稱信息。

7.根據權利要求6所述的方法，其特征在于，所述從所述數據存儲桶中匹配所述待同步數據對應的同步規則，得到所述目標同步規則包括：

從所述日志信息中獲取所述待同步數據的名稱信息；

根據所述待同步數據的名稱信息從所述數據存儲桶中匹配所述待同步數據對應的同步規則。

8.根據權利要求2所述的方法，其特征在于，所述數據存儲桶內的所述處理規則包括數據讀取規則，所述方法還包括：

確定客戶端的待讀取數據；

從所述數據存儲桶中匹配所述待讀取數據對應的所述讀取規則，得到目標讀取規則，其中，所述讀取規則為以下之一：強一致性讀取規則和弱一致性讀取規則；

根據所述目標讀取規則從目標數據中心中將所述待讀取數據讀取至所述客戶端。

9.根據權利要求8所述的方法，其特征在于，在所述目標讀取規則為所述弱一致性讀取規則的情況下，所述根據所述讀取規則從目標數據中心中讀取所述待讀取數據包括：

基于所述元數據確定存儲有所述待讀取數據的數據中心，得到至少一個候選數據中心；

從所述候選數據中心中確定與所述客戶端距離最近的數據中心，得到所述目標數據中心；

將所述待讀取數據從所述目標數據中心讀取至所述客戶端。

10.根據權利要求8所述的方法，其特征在于，在所述目標讀取規則為所述強一致性讀取規則的情況下，所述根據所述讀取規則從目標數據中心中讀取所述待讀取數據包括：

基于所述元數據確定所述待讀取數據最新上傳至的數據中心，得到至少一個候選數據中心；

從所述候選數據中心中確定與所述客戶端距離最近的數據中心，得到所述目標數據中心；

將所述待讀取數據從所述目標數據中心讀取至所述客戶端。

11.一種數據處理系統，其特征在于，包括：

至少兩個數據中心，用于存儲客戶端寫入的數據，還用于在不同的所述數據中心之間進行數據同步；

所述客戶端，與所述數據中心通信連接，用于向所述數據中心寫入數據，或從所述數據中心讀取數據；

數據存儲桶，用于存儲數據同步規則和數據讀取規則，其中，所述數據中心和所述客戶端分別與所述數據存儲桶之間具有數據訪問關系；

元數據集群，用于記錄各個數據中心存儲的數據對應的元數據，其中，所述數據中心和所述客戶端分別與所述元數據集群之間具有數據訪問關系。