[發(fā)明專利]數(shù)據(jù)整合系統(tǒng)和方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201010569590.1
• 申請(qǐng)日: 2010-12-01
• 公開(kāi)（公告）號(hào): CN102043837A
• 公開(kāi)（公告）日: 2011-05-04
• 發(fā)明（設(shè)計(jì)）人: 劉鑫;云廣
• 申請(qǐng)（專利權(quán)）人: 北京迅捷英翔網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 隆天國(guó)際知識(shí)產(chǎn)權(quán)代理有限公司 72003
• 代理人: 張?jiān)≡?劉文意

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)整合系統(tǒng)和方法，尤其涉及一種能夠提供具有標(biāo)準(zhǔn)數(shù)據(jù)格式的數(shù)據(jù)的數(shù)據(jù)整合系統(tǒng)和方法。

背景技術(shù)

眾所周知，現(xiàn)今企業(yè)中的信息發(fā)展迅速，技術(shù)更是日新月異。然而多方面的信息建設(shè)以及自然的延續(xù)，雖然各自取得相當(dāng)?shù)男б妫瑓s也造成了一座座的信息孤島，阻礙了進(jìn)一步的信息運(yùn)用以及更大的統(tǒng)合效益。為了阻斷信息割據(jù)，提高信息系統(tǒng)的運(yùn)行效率，數(shù)據(jù)整合技術(shù)成為各個(gè)企業(yè)所關(guān)心的技術(shù)。數(shù)據(jù)整合技術(shù)可將各個(gè)信息孤島的數(shù)據(jù)進(jìn)行互通，將孤立的信息整合到一起，形成最終企業(yè)需要的信息。

在數(shù)據(jù)整合技術(shù)中，其中兩種為數(shù)據(jù)文件整合方式和數(shù)據(jù)及時(shí)整合方式，下面分別介紹：

1.數(shù)據(jù)文件整合方式(PUSH方式)

圖1是數(shù)據(jù)文件整合方式的架構(gòu)圖。參見(jiàn)圖1，所謂數(shù)據(jù)文件整合方式，是指由源數(shù)據(jù)提供方提供一個(gè)或多個(gè)數(shù)據(jù)文件，將源數(shù)據(jù)提供方的所有數(shù)據(jù)變化一次性提供給數(shù)據(jù)接收方，而由數(shù)據(jù)接收方對(duì)數(shù)據(jù)文件進(jìn)行處理，其中文件格式比較常見(jiàn)的為xml、txt、excel等。此種方式主要應(yīng)用場(chǎng)景是一次性導(dǎo)入大量數(shù)據(jù)。該方式的優(yōu)點(diǎn)是容易控制，便于儲(chǔ)存；缺點(diǎn)是文件格式種類繁雜，并且文件中的數(shù)據(jù)格式也是五花八門，一旦增加一種文件格式和數(shù)據(jù)格式，程序需要經(jīng)常做很大的改動(dòng)來(lái)適應(yīng)新的格式，另外由于數(shù)據(jù)量比較大，導(dǎo)致系統(tǒng)的負(fù)荷大，如果整合過(guò)程中出現(xiàn)問(wèn)題，容易導(dǎo)致整個(gè)過(guò)程失敗，需要花費(fèi)很長(zhǎng)時(shí)間再次進(jìn)行數(shù)據(jù)處理。

2.數(shù)據(jù)及時(shí)整合方式(PULL方式)

圖2是數(shù)據(jù)及時(shí)整合方式的架構(gòu)圖。參見(jiàn)圖2，所謂數(shù)據(jù)及時(shí)整合方式，是指數(shù)據(jù)提供方有任何數(shù)據(jù)變化，則通過(guò)數(shù)據(jù)接收方提供的及時(shí)響應(yīng)方式向數(shù)據(jù)接收方通知其關(guān)心的數(shù)據(jù)的變化，而實(shí)現(xiàn)這種響應(yīng)方式的代表技術(shù)有：Webservive、REST、jms等。此種方式經(jīng)常應(yīng)用的場(chǎng)景是在兩個(gè)應(yīng)用信息變化特別緊密的系統(tǒng)之間的信息同步上。優(yōu)點(diǎn)是信息同步比較及時(shí)，及時(shí)同步的缺點(diǎn)是處理速度慢，對(duì)系統(tǒng)的處理能力與資源要求高，處理大量數(shù)據(jù)處理請(qǐng)求時(shí)容易導(dǎo)致程序崩潰。

下面是數(shù)據(jù)及時(shí)整合方式的Webservice實(shí)現(xiàn)的說(shuō)明。

Webservice是由企業(yè)發(fā)布的完成特定商務(wù)需求的在線應(yīng)用服務(wù)，其它公司或應(yīng)用軟件能夠通過(guò)Internet來(lái)訪問(wèn)并使用這項(xiàng)在線應(yīng)用服務(wù)。Webservice是一種構(gòu)建應(yīng)用程序的普遍模型，可以在任何支持網(wǎng)絡(luò)通信的操作系統(tǒng)中實(shí)施運(yùn)行；它是一種新的web應(yīng)用程序分支，是自包含、自描述、模塊化的應(yīng)用，可以發(fā)布、定位、通過(guò)web調(diào)用。Webservice還是一個(gè)應(yīng)用組件，它邏輯性地為其他應(yīng)用程序提供數(shù)據(jù)與服務(wù)。各應(yīng)用程序通過(guò)網(wǎng)絡(luò)協(xié)議和規(guī)定的一些標(biāo)準(zhǔn)數(shù)據(jù)格式(Http，XML，Soap等)來(lái)訪問(wèn)Webservice，通過(guò)Webservice內(nèi)部執(zhí)行得到所需結(jié)果。Webservice可以執(zhí)行從簡(jiǎn)單的請(qǐng)求到復(fù)雜商務(wù)處理的任何功能。一旦部署以后，其他Webservice應(yīng)用程序可以發(fā)現(xiàn)并調(diào)用它部署的服務(wù)。

一種數(shù)據(jù)整合的方案是對(duì)應(yīng)上述兩種數(shù)據(jù)整合方式，開(kāi)發(fā)兩套數(shù)據(jù)整合程序來(lái)處理，將兩種數(shù)據(jù)整合方式簡(jiǎn)單地組合在一起，即兩種方案并存。對(duì)于這種數(shù)據(jù)整合的方案，存在如下缺點(diǎn)：

1.兩種數(shù)據(jù)整合方式各有缺點(diǎn)：對(duì)于數(shù)據(jù)文件整合方式，整合過(guò)程中出錯(cuò)后，只能再次重新進(jìn)行處理；對(duì)于數(shù)據(jù)及時(shí)整合方式，處理程序的處理能力受機(jī)器本身的限制，處理能力有限；

2.兩種數(shù)據(jù)整合方式?jīng)]有監(jiān)控功能：由于兩種數(shù)據(jù)整合方式本身并不提供監(jiān)控功能，所以很難監(jiān)控?cái)?shù)據(jù)整合的運(yùn)行情況和執(zhí)行情況，這使得數(shù)據(jù)接收方和數(shù)據(jù)發(fā)送方都很難知道具體的數(shù)據(jù)整合情況，不容易掌握運(yùn)行情況；

3.維護(hù)成本較大：數(shù)據(jù)文件整合方式中數(shù)據(jù)格式繁雜，一旦新增或修改一種數(shù)據(jù)格式，都需要修改數(shù)據(jù)整合程序。此外，數(shù)據(jù)接收方的核心數(shù)據(jù)模型(核心數(shù)據(jù)模型是指數(shù)據(jù)接收方自己內(nèi)部的數(shù)據(jù)的結(jié)構(gòu)和數(shù)據(jù)相互之間的關(guān)系)調(diào)整后，會(huì)導(dǎo)致兩套數(shù)據(jù)整合程序都要做修改；

4.擴(kuò)展不夠方便：由于采用兩套方案，無(wú)論是水平擴(kuò)展(多數(shù)據(jù)庫(kù)之間同步數(shù)據(jù))，還是垂直擴(kuò)展(多種數(shù)據(jù)源提供數(shù)據(jù))都很困難。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，本發(fā)明旨在減少多種數(shù)據(jù)格式對(duì)數(shù)據(jù)整合系統(tǒng)造成的維護(hù)困難、麻煩，并可以監(jiān)控?cái)?shù)據(jù)整合的細(xì)微變化情況。