[發明專利]一種基于數據召測的數據同步與分析系統

有效

• 申請號: 201210035424.2
• 申請日: 2012-02-17
• 公開（公告）號: CN102594889A
• 公開（公告）日: 2012-07-18
• 發明（設計）人: 肖勇;闕華坤;楊勁鋒;黨三磊;危阜勝;陳啟冠;李健;劉明;王祖祥
• 申請（專利權）人: 廣東電網公司電力科學研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 廣州知友專利商標代理有限公司 44104
• 代理人: 周克佑

技術領域

本發明涉及一種實時數據處理方法，具體來說涉及一種基于數據召測的數據同步與分析系統。

背景技術

隨著計算機技術的快速發展，越來越多的企業和政府部門逐漸加大了信息化系統的建設力度。但是為了避免重復建設和數據冗余，新建設的信息化系統需要和原有的其它信息化系統進行數據同步。這里說的數據同步不是一次性的數據導入和導出，而是按照特定的業務需求，某些數據需要每小時同步一次，某些數據需要每天同步一次，某些數據需要每月同步一次。此外，數據同步還必須考慮到跨數據庫(如Oracle、Sybase、DB2等)跨網絡。

比較常用的數據同步方法就是定時抽取、主動上送。實現過程如下：有兩個信息化系統S1和S2(下同)，其中S1需要按照一定的業務需求向S2傳送數據。那么在S1的接口機上部署一套數據抽取程序(含壓縮程序)，主要負責數據抽取和壓縮，在S2的接口上部署一套數據入庫程序(含解壓程序)，主要負責數據解壓和入庫。S1的接口機和S2的接口機通過FTP進行壓縮文件的傳輸。這種定時抽取、主動上送的數據同步方法存在以下兩個方面的問題：

·數據實時性差且難以監控

系統S1存儲的原始數據可能是硬件采集器采集的，也有可能是系統自身生成的，又或者是觸發存儲過程或定時調度存儲過程生成的。不論哪一種情況，數據生成或插入時間的不確定性就決定了定時抽取需要延遲數個小時才能確保抽取到數據。這樣就會出現系統S1有數據，而系統S2沒有數據展示的數據實時性差的問題。此外，從S1的接口機進行數據抽取和壓縮，再通過FTP到S2的接口機進行數據解壓和入庫，如果中間哪一個環節出了問題，系統S2也會沒有數據。

·維護工作量大且工作效率低

對于系統S1的數據抽取程序，需要有專人進行維護。特別地，如果系統有數據補錄或數據修復，很難及時地進行數據重抽，因為數據補錄是指定的責任人，而數據修復是其它的責任人等。另一方面，系統S2發現了數據異常或數據缺失，需要聯系S1的責任人進行處理，但很多情形下系統S1中的數據已經進行了修復。這樣來來往往不僅維護工作量大，而且工作效率也非常低。

發明內容

本發明的目的在于提供一種基于數據召測的數據同步與分析系統，本系統通過細化技術特性和業務需求，以數據召測的形式進行數據同步，在提高數據響應時間的同時，在較大程度上減少了維護工程量，提高了數據同步的效率。

本發明的目的可通過以下的技術措施來實現：

一種基于數據召測的數據同步與分析系統，包括：數據源同步子系統、同步輔助子系統和數據分析子系統；所述數據源同步子系統按照數據交互協議與同步輔助子系統進行數據交互，所述數據分析子系統對同步輔助子系統獲取的數據進行分析和綜合展現；

所述數據源同步子系統包含召測服務器、文件壓縮器和FTP服務器；所述同步輔助子系統包括召測客戶端、FTP客戶端、文件解壓器、文件入庫器；

所述召測服務器負責偵聽來自召測客戶端的數據召測請求，對于小數據量的召測請求，則直接實時返回召測結果；對于大數據量的召測請求，則生成相應的文本文件，然后通過文件壓縮器生成壓縮文件后以FTP方式上傳至FTP服務器；

所述召測客戶端根據實際需求或者數據分析子系統的配置向召測服務器發送召測請求；對于實時返回的召測結果，由召測客戶端進行數據入庫；對于召測服務器上傳到FTP服務器上的壓縮文件，由所述FTP客戶端進行實時掃描和獲取，然后由文件解壓器進行解壓，最后由文件入庫器進行數據入庫。

所示數據分析子系統對數據進行分析和綜合展現，且，如果數據缺失或者異常，則所述數據分析子系統對缺失或異常的數據進行召測。

所述實時返回的招測結果和壓縮文件均按照數據交互協議進行封裝。

所示數據交互協議是指兩個或者多個信息系統之間信息交互過程、交互內容及交互格式。

本發明對比現有技術，有如下優點：本方法實現電網企業海量實時數據在平臺內部的移動，能夠明確數據的分布、移動、應用方式，支撐實時數據的集中管控，提升企業范圍內數據的價值。

附圖說明

圖1是本發明的數據同步與分析系統的結構圖。

具體實施方式

本發明提供一種基于數據召測的數據同步與分析系統，包括：數據源同步子系統、同步輔助子系統和數據分析子系統；數據源同步子系統按照數據交互協議與同步輔助子系統進行數據交互，數據分析子系統對同步輔助子系統獲取的數據進行分析和綜合展現；