[發(fā)明專利]一種多源數(shù)據(jù)集成平臺及其構建方法

有效

• 申請?zhí)枺?/td>: 201110369877.4
• 申請日: 2011-11-18
• 公開（公告）號: CN102508706A
• 公開（公告）日: 2012-06-20
• 發(fā)明（設計）人: 呂炎杰;趙罡;閆光榮;袁軻;周茜;吳彬彬;曾玉琴;齊長貴;王環(huán)
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F17/30
• 代理公司: 北京慧泉知識產(chǎn)權代理有限公司 11232
• 代理人: 王順榮;唐愛華

技術領域

本發(fā)明涉及一種多源數(shù)據(jù)集成平臺及其構建方法，屬于數(shù)據(jù)管理、計算機、集成設計環(huán)境技術領域。

背景技術

隨著計算機網(wǎng)絡的飛速發(fā)展和信息化的推進，數(shù)據(jù)的采集、存儲和傳播日益增加，企業(yè)內(nèi)部，企業(yè)外部之間信息的交流日益強烈，但企業(yè)內(nèi)部各個部門，企業(yè)與企業(yè)之間的信息平臺的數(shù)據(jù)源往往彼此獨立，存在異構現(xiàn)象，從而形成“信息孤島”，使得數(shù)據(jù)的共享問題日益突出。企業(yè)迫切需要進行數(shù)據(jù)集成，實現(xiàn)數(shù)據(jù)共享，建立一個完善的數(shù)據(jù)集成系統(tǒng)。

開發(fā)數(shù)據(jù)集成系統(tǒng)需要很長的建立時間。創(chuàng)建一個集成系統(tǒng)，首先需要建立一個集成模型，然后定義集成模型到數(shù)據(jù)源之間的映射和語義關系。這個過程需要大量的開發(fā)工作，針對異構的數(shù)據(jù)源，開發(fā)人員需要重寫數(shù)據(jù)集成過程，考慮異構數(shù)據(jù)對集成過程造成的影響。同時在數(shù)據(jù)集成過程中，開發(fā)人員無法清晰的理解集成過程所處階段，集成結果狀態(tài)，對集成結果進行快速展示及分析。因此開展集成設計環(huán)境的研究具有重要意義。

目前市場上的數(shù)據(jù)集成平臺有：BeeDI，Informatica，KNIME，JasperETL等，BeeDI是一款數(shù)據(jù)整合軟件，進行數(shù)據(jù)的抽取，清洗，轉換，通過標準化企業(yè)各業(yè)務系統(tǒng)產(chǎn)生的數(shù)據(jù)，向數(shù)據(jù)倉庫提供數(shù)據(jù)，為企業(yè)的決策分析提供支持；Informatica主要是通過它的Designer和Workflow?Manager實現(xiàn)數(shù)據(jù)的抽取方式的設計并將工作應用到一個具體的工作流中；KNIME是基于Eclipse并通過插件的方式來給用戶提供以可視化的方式創(chuàng)建數(shù)據(jù)流或數(shù)據(jù)通道；JasperETL主要提供數(shù)據(jù)的抽取，轉換和載入功能。

這些集成平臺存在以下缺點：

1)缺乏集成數(shù)據(jù)分析。雖然有些集成平臺存在將集成結果顯示的功能，但僅限于對字段數(shù)據(jù)的二維或者圖形展示，不能發(fā)掘數(shù)據(jù)的內(nèi)在聯(lián)系與關系；

2)不能實時生成集成代碼。采用面向服務的方法將數(shù)據(jù)集成邏輯進行封裝，雖然減少了用戶的工作量與負擔，但讓用戶對集成原理與過程失去了掌控，使集成的靈活性降低；

3)不能根據(jù)用戶需求生成集成數(shù)據(jù)動態(tài)展示頁面。集成平臺主要將數(shù)據(jù)從數(shù)據(jù)源抽取，轉換為需求格式，然后通過映射載入到目標庫中，沒有提供一種手段對數(shù)據(jù)采取結果進行組織，生成可移植的數(shù)據(jù)顯示頁面；

4)沒有提供一種接口便于用戶將集成平臺產(chǎn)生的過程數(shù)據(jù)及集成代碼進行移植。

5)集成平臺功能固定，難以個性化定制及擴展功能。

6)不能對集成知識進行整理，收集，形成知識庫，知識重復利用率低。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種多源數(shù)據(jù)集成平臺及其構建方法，它克服了現(xiàn)有技術的不足，能改善當前數(shù)據(jù)集成工作環(huán)境。其目標有：

(1)提供一種以流程驅(qū)動活動，以活動作為服務的規(guī)范的可擴展的集成工作平臺。

(2)將多源數(shù)據(jù)的操作過程作為一種活動以圖形化編程的方式進行展示，根據(jù)用戶需求，生成不同語言的數(shù)據(jù)操作過程代碼。

(3)用戶可以實現(xiàn)活動的自定義，從而實現(xiàn)系統(tǒng)功能的擴展，代碼的重用和個性化定制。

(4)對集成數(shù)據(jù)，根據(jù)用戶需求，采用聚類分析等數(shù)據(jù)分析方法，對數(shù)據(jù)進行分析與挖掘，并以圖形化的方式展示數(shù)據(jù)之間的關聯(lián)。

(5)提供展示界面自動生成服務。根據(jù)用戶的需求，系統(tǒng)自動生成數(shù)據(jù)展示界面及代碼并進行輸出，給用戶提供后續(xù)界面設計的基礎。用戶可以以此代碼和界面為基礎進行開發(fā)或者參考，加快數(shù)據(jù)集成過程。

(6)規(guī)范數(shù)據(jù)集成過程及活動。

(7)提高知識重用率。

1)本發(fā)明一種多源數(shù)據(jù)集成平臺，它以流程為主線，以活動為核心，將數(shù)據(jù)抽取，數(shù)據(jù)轉換，數(shù)據(jù)分析等過程標準化，并以活動的形式展示出來，給用戶的工作提供知識支持，標準代碼支持，界面設計支持，數(shù)據(jù)分析支持等。

本發(fā)明一種多源數(shù)據(jù)集成平臺，該平臺由數(shù)據(jù)源，連接層，活動層，邏輯層，服務層五部分構成，它們之間的關系是：數(shù)據(jù)源為平臺提供底層數(shù)據(jù)支持，連接層建立數(shù)據(jù)源與活動層的連接，使活動層可以對數(shù)據(jù)源進行操作等，邏輯層對活動層的活動進行組織，通過服務層提供給用戶服務。