[發明專利]數據同步方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202211457464.6
• 申請日: 2022-11-21
• 公開（公告）號: CN115774755A
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 易景平
• 申請（專利權）人: 天翼數字生活科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王雨

本申請提供一種數據同步方法、裝置、設備及可讀存儲介質，本申請可對待處理的數據進行同步處理，并記錄對同步處理的起始時間和結束時間；并通過分析對同步處理的操作日志，可依據新增操作日志，判斷本地數據與待同步的遠程節點的數據是否存在差異；若存在差異，則執行數據更新指令，對本地數據進行更新；將更新數據的操作記錄更新到日志管理數據庫，并記錄執行數據更新指令的同步位點。以便后續有新的數據更新的時候，可依據執行數據更新指令的同步位點來繼續對數據進行更新。可有效解決不同的集群節點在跨機房實時同步數據的問題，有效保證各個集群節點的數據的一致性與及時性，在災備切換時能確保數據即刻上線使用，提升數據的穩定性和安全性。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據同步方法、裝置、設備及可讀存儲介質。

背景技術

隨著科學技術的發展，數據同步的要求越來越高。有些企業或單位會選擇用minio工具來實現數據管理。minio是個基于Golang編寫的開源對象存儲套件工具。minio工具它可以兼容S3云存儲服務接口，非常適合于存儲大容量非結構化的數據，例如，可以存儲圖片、視頻、日志文件。Minio工具具有高效的讀寫速度與完全開源的特點。對于中小型企業來說，如果不選擇將數據存儲上云，那么minio工具可以滿足中小微企業的所有數據管理的需求。然而minio并不具備實時的數據同步功能，為了更好地實現數據同步的功能，有些企業會選擇使用rlone來實現數據同步，而rlone工具雖然可以實現數據同步，但是rlone工具不能精確地對增量數據進行同步，rlone工具實現數據同步需要對比本地數據和遠程數據的所有數據，并且當minio工具存儲的數據量較大時，所需要花費的同步時間會更多。雖然可以通過雙寫的方式來實現對本地數據和遠程數據的同時修改，但通過雙寫來實現對本地數據和遠程數據的同時修改的方法不利于維護，當出現網絡或其他故障時容易造成兩個集群數據不一致問題。

發明內容

本申請旨在至少能解決上述的技術缺陷之一，有鑒于此，本申請提供了一種數據同步方法、裝置、設備及可讀存儲介質，用于解決現有技術中難以實現高效同步數據的技術缺陷。

一種數據同步方法，包括：

對待處理的數據進行全量同步處理，并記錄對所述待處理的數據進行全量同步處理的起始時間和結束時間；

分析對所述待處理的數據進行全量同步處理期間的操作日志，確定在對所述待處理的數據進行全量同步處理的起始時間至結束時間期間的新增操作日志；

依據所述新增操作日志，判斷本地數據與待同步的遠程節點的數據是否存在差異；

若本地數據與所述待同步的遠程節點的數據存在差異，則執行數據更新指令，對本地數據進行更新；

將更新本地數據的操作記錄更新到預設的日志管理數據庫中，并記錄執行所述數據更新指令的同步位點。

優選地，該方法還包括：

分析對所述待處理的數據進行全量同步處理期間的操作日志，確定在對所述待處理的數據進行全量同步處理的起始時間至結束時間期間的刪除操作日志；

依據所述刪除操作日志，判斷本地數據與所述待同步的遠程節點的數據是否存在差異；

若本地數據與所述待同步的遠程節點的數據存在差異，則執行數據刪除指令，對本地數據進行刪除；

將刪除本地數據的操作記錄更新到所述預設的日志管理數據庫中，并記錄執行所述數據刪除指令的同步位點。

優選地，該方法還包括：

分析對所述待處理的數據進行全量同步處理期間的操作日志，確定在對所述待處理的數據進行全量同步處理的起始時間至結束時間期間的修改操作日志；

依據所述修改操作日志，判斷本地數據與所述待同步的遠程節點的數據是否存在差異；