[發明專利]一種數據同步的方法、裝置和系統

有效

• 申請號: 201210543604.1
• 申請日: 2012-12-14
• 公開（公告）號: CN103873517B
• 公開（公告）日: 2017-07-14
• 發明（設計）人: 任志鴻;魏霄鵬;徐雙桑
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 梁軍

技術領域

本發明涉及通訊領域，特別是涉及一種數據同步的方法、裝置和系統。

背景技術

在通信技術領域中，數據同步技術具有廣泛的應用。目前，主流的數據同步方式包括消息同步和文件同步兩種方式，對于消息同步方式，在處理大數據量同步時效率較低，可靠性也差；文件同步方式雖然彌補了這種缺陷，但其主要應用方式，還只是針對某個具體服務器上數據，為完成某個具體功能而單獨進行實施配置部署。這種應用方式，功能相對單一，通用性和靈活性也不足，具體來說，當系統數據需要割接拆分或擴容時，在新增服務器上必須重新配置并部署相同數據同步模塊，原始數據同步文件被拆分成多份，進而產生同步文件數量不一致和命名沖突等問題，后續相關接口都要做適應性修改，由此帶來一系列棘手問題，不但配置復雜維護成本增加，而且升級風險也在加大。

針對現有技術中文件同步方式只能針對特定服務器的特定功能進行同步，通用性較差的問題，目前尚未提出有效的解決方案。

發明內容

本發明提供了一種數據同步的方法、裝置和系統，以解決現有技術中文件同步方式只能針對特定服務器的特定功能進行同步，通用性較差的問題。

為解決上述技術問題，一方面，本發明提供一種數據同步的方法，包括：根據配置文件的配置，從數據庫服務器中導出當前任務所需的數據文件；根據配置文件的配置，將數據文件上傳至指定的第一目標地址，以完成數據同步。

優選地，根據配置文件的配置，將數據文件上傳至指定的第一目標地址時，還包括：根據配置文件的配置，生成用以校驗數據文件對應的核查文件，其中，核查文件中包含數據文件的屬性信息；將數據文件和核查文件協同數據文件一同上傳至指定的第一目標地址。

優選地，根據配置文件的配置，從數據庫服務器中導出當前任務所需的數據文件包括：根據配置文件中的數據庫信息配置項，確定當前任務對應的數據庫信息；根據確定的數據庫信息，確定與當前任務對應的數據庫服務器，并與確定的數據庫服務器連接；執行配置文件中的導出腳本文件，從確定的數據庫服務器中導出當前任務所需的數據文件。

優選地，根據配置文件的配置，生成與導出的數據文件對應的核查文件包括；根據配置文件的配置，對導出的數據文件的屬性進行分析；根據分析結果生成核查文件，其中，核查文件包括以下至少之一：數據文件的名稱、數據文件的大小、數據文件的記錄數、數據文件的時間參數。

優選地，在將數據文件和核查文件上傳至指定的第一目標地址之前，上述方法還包括；判斷當前任務是否需要執行合并操作；當需要執行合并操作時，將數據文件和核查文件上傳至指定的第二目標地址，根據配置文件中合并節點的配置項，在第二目標地址內對數據文件進行合并和/或核查文件進行合并。

優選地，合并節點的配置項包括以下至少之一：合并前源文件所在路徑、合并文件類型，文件核查個數、合并后文件分割最大記錄闕值、文件分割序列號長度、合并后文件頭內容配置、合并后文件名稱、合并后文件保存路徑、原始文件備份目錄和保存時間、是否支持文件壓縮。

另一方面，本發明還提供一種數據同步的裝置，包括：數據導出單元，用于根據配置文件的配置，從數據庫服務器中導出當前任務所需的數據文件；上傳單元，用于根據配置文件的配置，將數據文件上傳至指定的第一目標地址，以完成數據同步。

優選地，該裝置還包括：核查文件生成單元，用于根據配置文件的配置，生成用以校驗數據文件的核查文件，其中，核查文件中包含數據文件的屬性信息，上傳單元將核查文件協同數據文件一同上傳至指定的第一目標地址。

優選地，數據導出單元包括：第一確定模塊，用于根據配置文件中的數據庫信息配置項，確定當前任務對應的數據庫信息；第二確定模塊，用于根據確定的數據庫信息，確定與當前任務對應的數據庫服務器，并與確定的數據庫服務器連接；執行模塊，用于執行配置文件中的導出腳本文件，從確定的數據庫服務器中導出當前任務所需的數據文件。

優選地，核查文件生成單元包括；分析模塊，用于根據配置文件的配置，對導出的數據文件的屬性進行分析；生成模塊，用于根據分析結果生成核查文件，其中，核查文件包括以下至少之一：數據文件的名稱、數據文件的大小、數據文件的記錄數、數據文件的時間參數。

優選地，該裝置還包括；判斷單元，用于在將數據文件和核查文件上傳至指定的第一目標地址之前，判斷當前任務是否需要執行合并操作；合并單元，用于在判斷單元的判斷需要執行合并操作時，則將數據文件和核查文件上傳至指定的第二目標地址，根據配置文件中合并節點的配置項，在第二目標地址內對數據文件進行合并和/或核查文件進行合并。