[發明專利]一種基于Web的數據集成方法和系統

有效

• 申請號: 201110076411.5
• 申請日: 2011-03-28
• 公開（公告）號: CN102708103A
• 公開（公告）日: 2012-10-03
• 發明（設計）人: 王炯;王海煒;潘定;莊向友;林啟琴;方晨;陳丹霞
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q40/02
• 代理公司: 北京金信立方知識產權代理有限公司 11225
• 代理人: 黃威;孫麗梅

技術領域

本發明涉及一種數據集成方法及系統，特別涉及一種基于Web的數據集成的方法及系統。

背景技術

目前銀行的一項業務數據操作往往涉及多個系統，工作人員在進行業務數據操作時，需要分別從不同的系統獲取數據并對這些數據進行分析。目前各個系統的接口分別單獨開發，其開發的總周期長，開發的成本高，且需要對各個系統的接口分別管理，其管理的成本也很高。另外，目前這些系統大都采用人工操作，不僅費時、費力，且由于系統較多，每個系統的操作規則不盡相同，對多個系統操作時容易出錯。

發明內容

為了解決上述技術問題，本發明提供了一種能夠自動集成基于web的系統數據且不易出錯的數據集成方法。

本發明提供的基于Web的數據集成方法，包括以下步驟：

(1)讀取并解析目標web的配置文件以從中提取訪問所述目標web所需的信息；

(2)模擬用戶端IE瀏覽器而向所述目標web發送符合http或https協議的訪問請求報文以訪問所述目標web；

(3)獲取響應于所述訪問請求報文而返回的web資源，使用預先定義的正則表達式檢索所述web資源，提取需要的參數和文本資源，所述文本資源包括文本；

(4)對從步驟(3)得到的多種數據進行排序、運算和/或合并處理以得到集成數據；

(5)對所述集成數據進行整合及結構化顯示。

作為優選，所述步驟(1)具體包括：從所述配置文件中提取用于訪問所述目標web的鏈接地址。

作為優選，在所述步驟(3)中的所述文本資源還包括文本段，則所述步驟(3)還包括對所述文本段進行語義分析以進一步提取符合要求的數據并組裝成具有預定結構的數據。

作為優選，在步驟(4)之后，還需繼續訪問下一目標web則重復步驟(1)至(4)，結束對目標web的訪問則進行步驟(5)。

本發明還提供了一種基于Web的數據集成系統，包括：

配置模塊，其讀取并解析目標web的配置文件以從中提取訪問所述目標web所需的信息；

模擬訪問模塊，模擬用戶端IE瀏覽器而向所述目標web發送符合http或https協議的訪問請求報文以訪問所述目標web；

語義分析模塊，其對響應于所述訪問請求報文而返回的web資源使用預先定義的正則表達式進行檢索，提取需要的參數和文本資源，所述文本資源包括文本；

邏輯處理模塊，其對經所述語義分析模塊處理得到的多種數據進行排序、運算和/或合并處理以得到集成數據；

控制模塊，與所述配置模塊、語義分析模塊及邏輯處理模塊松耦合，為所述配置模塊、語義分析模塊及邏輯處理模塊提供運行環境并控制數據集成的流程；

數據呈現模塊，其對所述集成數據進行整合并進行結構化顯示。

作為優選，所述配置模塊從目標web的配置文件中的提取的訪問所述目標web所述的信息為對應所述web的鏈接地址。

作為優選，所述文本資源還包括文本段，則所述語義分析模塊進一步用于分析所述文本段以從中提取符合要求的數據并組裝成具有預定結構的數據。

本發明所述的基于web的數據集成方法和系統具有以下有益效果：本發明提供的基于web的數據集成系統將web語義分析用于例如銀行內部的數據集成，具有輕量級、易實施的特點，可廣泛應用于新航的CMS-客戶管理系統，網上銀行管理系統、存款報表管理系統、網銀收費系統，電子銀行部關鍵績效指標KPI系統、收付賬務部的40000-8000機器人系統等多個系統，解決了人工集成數據操作費時費力且容易出錯的問題。

附圖說明

圖1為目標web配置類結構圖；

圖2為目標web訪問類結構圖；

圖3為目標web的配置文件結構圖；

圖4為本發明一個實施例的基于web的數據集成方法的流程圖；

圖5為本發明一個實施例的基于web的數據集成系統的結構圖。

具體實施方式

圖1為目標web配置類結構圖，圖2為目標web訪問類結構圖，圖3為目標web的配置文件結構圖，圖4為本發明一個實施例的基于web的數據集成方法的流程圖。如圖4所示，本發明提供的基于web的數據集成方法，包括以下步驟：

第(1)步驟：確定所需整合的目標web，開始訪問目標web，獲取目標web的核心配置，目標web的配置以XML的格式存儲，目標Web配置類的結構如圖1所示。