[發明專利]利用HTML腳本解析的異構系統間多層級數據同步方法及系統

在審

• 申請號: 201410179995.2
• 申請日: 2014-04-30
• 公開（公告）號: CN103927384A
• 公開（公告）日: 2014-07-16
• 發明（設計）人: 朱紅;張明;孫佳煒;嵇文路;朱紅勤;郭晏
• 申請（專利權）人: 國家電網公司;江蘇省電力公司南京供電公司;江蘇省電力公司;南京鑫歐欣信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京天華專利代理有限責任公司 32218
• 代理人: 瞿網蘭

技術領域

本發明涉及一種數據解析及數據采集技術，尤其涉及一種利用HTML腳本解析的異構系統間多層級數據同步方法及系統。

背景技術

?目前，隨著信息技術的不斷發展，現今各大行業企事業單位在經過多年的信息化建設，形成了基于自己公司實際情況的面向各個職能、業務部門的專業系統，而多個系統擁有相對獨立的數據存儲結構與方案，這對跨系統數據的共享及整合分析造成一定的難度。針對此類問題，現有解決方案通常是通過開發數據接口或生成特定的數據交換文件方式解決。此種解決方案無法脫離業務系統，需要系統開發方根據需求配合開發諸多接口，為一種雙向都要開發的系統，協調工作較為繁瑣。若將雙向開發變為單向需求方開發，無疑將降低數據同步工作的開發難度，節約大量協調成本。

發明內容

本發明的目的是針對目前跨系統數據同步共享不便的問題，發明一種利用HTML腳本解析的異構系統間多層級數據同步方法，同時提供一種相匹配的系統。

本發明的技術方案之一是：

一種利用HTML腳本解析的異構系統間多層級數據同步方法，其特征是它包括以下步驟：

步驟101：后臺程序模擬用戶登錄，通過指定URL頁面發送請求；

步驟102：接收頁面發送的URL請求；

步驟103：解析URL，抽取數據；

步驟104：判斷當前頁面是否有更新；查詢數據存儲服務器，判斷步驟103所述目標數據是否有更新，如果有更新，執行步驟106；否則，執行步驟105；

步驟105：忽略本次URL請求；對所述URL請求不作處理，直接忽略，結束流程；

步驟106：采集網頁數據并存儲；采集所述URL對應的網頁數據，交給數據存儲服務器進行存儲；

步驟107：判斷下一層級數據；根據所述URL，判斷其對應頁面是否有下一層級數據鏈接，如果有，獲取該鏈接URL，執行步驟101；否則，結束流程。

所述指定URL為異構系統上某個預知的鏈接的URL，該URL對應網頁所包含的數據即所述業務系統需要同步的數據。

所述解析URL是指生成HTML源文件，取出包含目標數據的源碼塊，生成DOM文檔對象，解析DOM文檔對象并抽取出目標數據。

本發明的技術方案之二是：

一種利用HTML腳本解析的異構系統間多層級數據同步異構系統間多層級數據同步系統，其特征是它包括數據采集服務器200和數據存儲服務器300，其中數據存儲服務器300用于存儲數據采集服務器200所采集的數據；所述的數據采集服務器200用于采集目標網頁數據，包括用于通過后臺程序模擬用戶登錄指定?URL?的網頁并向后臺發送請求的發送請求模塊201、用于接收指定URL的網頁所發送的請求的接收請求模塊202和用于判斷指定URL的網頁是否有更新，在有更新時觸發采集模塊的判斷模塊203和用于采集指定URL網頁的數據的數據采集模塊204。

本發明的有益效果：

本發明解決了跨系統數據同步共享問題，具有速度快，準確性高的優點。同時通過異構系統間多層級數據同步系統將數據采集服務器與數據存儲服務器分離，有利于減輕自身系統的負擔，提高數據同步的效率。

附圖說明

圖?1?為本發明同步方法的流程圖。

圖2?為本發明同步系統的結構示意圖。

具體實施方式

下面結合附圖和實施例對本發明作進一步的說明。

實施例一。

如圖1所示。

一種利用HTML腳本解析的異構系統間多層級數據同步方法包括以下步驟：

步驟101：后臺程序模擬用戶登錄，通過指定URL頁面發送請求；

所述指定URL為異構系統上某個預知的鏈接的URL，該URL對應網頁所包含的數據即所述業務系統需要同步的數據。

步驟102：接收頁面發送的URL請求；

步驟103：解析URL，抽取數據；

解析所述URL，生成HTML源文件，取出包含目標數據的源碼塊，生成DOM文檔對象解析DOM文檔對象并抽取出目標數據。

步驟104：判斷當前頁面是否有更新；

查詢數據存儲服務器，判斷步驟103所述目標數據是否有更新，如果有更新，執行步驟016；否則，執行步驟015。

步驟105：忽略本次URL請求；

對所述URL請求不作處理，直接忽略，結束流程。

步驟106：采集網頁數據并存儲；

采集所述URL對應的網頁數據，交給數據存儲服務器進行存儲。