[發明專利]數據同步方法和集群節點

有效

• 申請號: 201510092950.6
• 申請日: 2015-03-02
• 公開（公告）號: CN104699771B
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 唐文奎
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;G06F16/23
• 代理公司: 北京邦信陽專利商標代理有限公司 11012
• 代理人: 金璽

1.一種數據同步方法，其特征在于，所述方法應用于涉及PB級大數據的分布式系統的數據同步的目標集群節點中，包括：

所述目標集群節點在生成源數據的集群節點上對所述源數據的完整性進行驗證；當通過對所述生成源數據的集群節點進行輪詢，獲取到完整標記時，驗證所述源數據為完整的，所述完整標記是由所述生成源數據的集群節點在所述源數據生成完成之后產生的；

若驗證所述源數據為完整的，則所述目標集群節點獲取所述源數據；

所述目標集群節點根據所述源數據對數據表進行更新；

根據所述源數據對數據表進行更新之前，所述方法還包括對所述源數據進行過濾，以過濾掉無效數據；具體包括對源數據進行校驗，排除不符合指定壓縮格式的文件；

其中所述源數據為完整的表示所述生成源數據的集群節點已完成生成所述源數據的過程，所述數據表用于記錄所述源數據的元信息。

2.根據權利要求1所述的方法，其特征在于，所述在生成源數據的集群節點上對所述源數據的完整性進行驗證，包括：

當所述源數據的大小在預定的時間范圍內沒有改變時，驗證所述源數據為完整的。

3.根據權利要求2所述的方法，其特征在于，所述當所述源數據的大小在預定的時間范圍內沒有改變時，驗證所述源數據為完整的，包括：

多次檢測所述源數據的大小，每次間隔一定的時間，所述預定的時間范圍是指首次與最后一次檢測所述源數據的大小的時間間隔；

如果多次檢測到的所述源數據的大小都是一致的，則表示所述源數據的大小在預定的時間范圍內沒有改變，驗證所述源數據為完整的。

4.根據權利要求1-3任一項所述的方法，其特征在于，在所述獲取所述源數據之后，所述方法還包括：

分區創建所述源數據的表結構，所述表結構記錄了從所述生成源數據的集群節點到目標集群節點上的存儲位置的映射關系，所述目標集群節點指的是獲取所述源數據的集群節點。

5.根據權利要求1-3任一項所述的方法，其特征在于，所述數據表采用全量表，時間分區表或拉鏈表的形式。

6.一種數據同步的目標集群節點，其特征在于，所述目標集群節點為涉及PB級大數據的分布式系統中的節點，包括：

驗證模塊，用于在生成源數據的集群節點上對所述源數據的完整性進行驗證；當通過對所述生成源數據的集群節點進行輪詢，獲取到完整標記時，驗證所述源數據為完整的，所述完整標記是由所述生成源數據的集群節點在所述源數據生成完成之后產生的；

獲取模塊，用于若所述驗證模塊驗證所述源數據為完整的，則獲取所述源數據；

更新模塊，用于根據所述獲取模塊獲取的所述源數據對數據表進行更新；所述更新模塊還用于：對所述源數據進行過濾，以過濾掉無效數據；具體包括對源數據進行校驗，排除不符合指定壓縮格式的文件；

其中所述源數據為完整的表示所述生成源數據的集群節點已完成生成所述源數據的過程，所述數據表用于記錄所述源數據的元信息。

7.根據權利要求6所述的目標集群節點，其特征在于，

所述驗證模塊具體用于：當所述源數據的大小在預定的時間范圍內沒有改變時，驗證所述源數據為完整的。

8.根據權利要求7所述的目標集群節點，其特征在于，

所述驗證模塊具體用于：多次檢測所述源數據的大小，每次間隔一定的時間，如果多次檢測到的所述源數據的大小都是一致的，則表示所述源數據的大小在預定的時間范圍內沒有改變，驗證所述源數據為完整的，其中所述預定的時間范圍是指首次與最后一次檢測所述源數據的大小的時間間隔。

9.根據權利要求6-8任一項所述的目標集群節點，其特征在于，所述集群節點還包括：

創建模塊，用于分區創建所述源數據的表結構，所述表結構記錄了從所述生成源數據的集群節點到目標集群節點上的存儲位置的映射關系，所述目標集群節點指的是獲取所述源數據的集群節點。