[發明專利]雙核庫數據同步方法

有效

• 申請號: 200710051061.0
• 申請日: 2007-12-28
• 公開（公告）號: CN101226527A
• 公開（公告）日: 2008-07-23
• 發明（設計）人: 曾健;陳剛;梅松;張航友;何畏
• 申請（專利權）人: 中國移動通信集團四川有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 成都天嘉專利事務所
• 代理人: 徐豐

技術領域

本發明涉及計算機數據庫技術領域，特別是一種雙核庫數據同步方法。

背景技術

目前通信行業，特別是運營商所使用的經營分析系統(面向企業運營的統一數據信息平臺，為全網業務、客戶服務、市場營銷、經營決策、業務實施等工作提供了有效的支撐的系統)的倉庫數據和大部分前臺展示數據都存放在數據倉庫中，但是這種方式存在如下問題：

1、倉庫主機發生故障，將導致前臺應用系統不可訪問，影響前臺系統的可用性；

2、倉庫主機一旦運行較大的后臺程序，則前臺應用系統訪問緩慢，影響前臺訪問效率；

3、何前臺數據的處理程序運行時，都將更新前臺數據表，如果調度不適當，這些處理程序將會導致用戶對前臺訪問失敗，直觀感覺則是系統不穩定；

4、訪問前臺數據時一旦出錯，直接在前臺展示出來，而且往往是系統層面的，用戶體驗不好。

為改善以上所存在的問題，需要在數據庫方面做出相應的技術改進。

發明內容

本發明為解決上述問題通過雙核庫數據同步方法構建一個獨立的前臺應用庫，將前臺訪問的數據從物理上獨立出來，單獨存放在一個前臺應用庫中，并于按照數據本身的周期特性進行準實時的同步訪問數據倉庫，使得前臺數據在整個系統中存在兩份。

本發明的技術方案如下：

雙核庫數據同步方法，其特征在于：雙核庫包括數據倉庫和前臺應用庫；所述雙核庫將經營分析系統用戶訪問的數據存儲在數據倉庫中，同時存儲了同樣一份存在前臺應用庫中，當經營分析系統用戶訪問時采用多層機制；所述多層機制為：當先訪問前臺應用庫失敗時，經營分析系統自動切換訪問數據倉庫，數據倉庫和前臺應用庫兩庫之間的數據按照數據本身的周期性通過同步系統進行實時同步。

所述前臺應用庫指經營分析系統用戶直接訪問的數據庫。

所述同步系統是在倉庫和前臺應用庫之間根據數據項的周期特性進行數據同步。

所述同步系統包含對同步數據項的配置策略、配置策略解釋程序，所述配置策略解釋程序包括調度主進程、內部時鐘進程、日志管理進程、同步任務執行程序、數據導入程序、數據導出程序。

所述調度主進程指完成所有同步任務進程的調度和控制；所述同步任務進程完成具體同步任務中各數據項的同步；所述配置策略指記錄同步數據項的數據所在位置、數據篩選條件、同步方法(追加同步、覆蓋同步)、周期策略等；所述日志管理進程指同步過程中各系統信息的輸出和日志內容的定期刪除。

所述實時同步的流程如下：

A、首先讀取要同步數據項的周期策略，輪詢判斷該數據項是否已滿足其周期策略；

B、當該數據項滿足其周期策略時，觸發同步任務，所述同步任務分別包含數據導出和數據導入兩個任務；

C、步驟B中所述的數據導出任務首先判斷要同步的是源數據庫中的哪些數據表、哪些紀錄；同時在目標數據庫中創建該源數據表的模板表，當目標數據庫中不存在目標數據表時，則通過模板表創建目標數據表，最后將源數據表的數據導出到數據文件；

D、步驟B中所述的數據導入任務首先判斷同步到的目標表、目標表的位置，然后導入數據到目標數據表，最后通過數據校驗進程進行同步校驗。

所述同步數據項的周期策略指每隔n秒觸發一次(n＞10s)，或者每隔n秒強制觸發一次(n＞10s)，或者每天hh點mm分觸發一次，或者每周周w的hh點mm分觸發一次，或者每月dd日hh點mm分觸發一次，或者某/每日hh點mm分后每隔n秒觸發一次等等。

所述數據校驗進程指將目標數據表的內容與數據文件的內容進行比較。

所述數據導入任務和數據導出任務是通過數據導入程序、數據導出程序執行的，當數據導入程序、數據導出程序執行時，程序中的同步狀態控制模塊記錄同步任務執行的狀態；所述狀態包括成功、失敗、進行中、執行完成但存在警告四種狀態；所述同步狀態和同步周期策略共同決定同步任務的重復執行方式。

本發明的有益效果如下：

本發明實現了同步操作的多種周期性，可以按日、周、月定時同步、循環同步，也可以按條件觸發同步，能夠方便地按任務進行管理，管理需要同步的數據；

避免了數據庫自身同步機制帶來的較大的系統資源消耗；

能夠方便地監控同步操作，并有詳細的日志記錄；

每次同步操作可重復進行，不影響結果的準確性；

除了系統自動同步外，還可以手工啟動某一次同步操作；

可以在不同主機上的不同數據庫之間實現同步；