[發明專利]一種多源數據集成平臺及其構建方法

有效

• 申請號: 201110369877.4
• 申請日: 2011-11-18
• 公開（公告）號: CN102508706A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 呂炎杰;趙罡;閆光榮;袁軻;周茜;吳彬彬;曾玉琴;齊長貴;王環
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F17/30
• 代理公司: 北京慧泉知識產權代理有限公司 11232
• 代理人: 王順榮;唐愛華

1.一種多源數據集成平臺，其特征在于：該平臺由數據源，連接層，活動層，邏輯層，服務層五部分構成，數據源為平臺提供底層數據支持，連接層建立數據源與活動層的連接，使活動層可以對數據源進行操作，邏輯層對活動層的活動進行組織，通過服務層提供給用戶服務；

所述數據源是整個平臺數據的來源，該數據源是由平臺功能數據和用戶集成數據兩類數據組成，功能數據為平臺功能的實現提供支撐，用戶集成數據為用戶指定的平臺操作對象；該功能數據包括代碼庫，知識庫和界面模板庫，這些數據存儲在MySQL數據庫中；該用戶集成數據包括文本文件，XML文件，網頁和數據庫；

所述連接層是上層應用與下層數據之間連接的通道；該連接層是一系列與數據源建立連接的接口，這些接口支持c++，java常用編程語言；

所述活動層為系統活動的集合，它是將各種功能，如數據庫的操作進行歸納，形成一個個活動，將活動作為一個標準功能對象提供給用戶；該活動層是由輸入參數，輸出參數和實現過程三部分組成，輸入參數經過實現過程的處理，產生輸出參數；該輸入參數與輸出參數都是xml格式的字符串；該實現過程為用java或者c++代碼編寫的邏輯函數，用戶可以根據需求選擇實現過程的編寫語言；用戶不用關心活動的具體的實現方式，只需根據提示填寫活動的輸入參數，活動將調用活動的實現過程，運行完成后按照輸出格式的定義對結果進行輸出；

所述邏輯層是對活動過程的控制；該邏輯層是通過順序，選擇，循環邏輯過程將活動組合起來，形成用戶所需的完整的活動流程，對整個工作過程和活動進行驅動與控制；

所述服務層是集成平臺給用戶提供的服務，它包括數據集成、數據分析、代碼編輯、界面設計、知識管理和功能擴展各項服務；數據集成服務是集成平臺提供給用戶的主要功能，數據分析，代碼生成，界面設計，知識管理以及功能擴展，是為用戶順利開展集成工作而對數據集成服務的補充；這些服務應用于數據集成工作前的集成知識積累，集成工作中的集成控制與組織，集成工作后數據的分析與處理；該數據集成服務是獲取不同數據源的數據，并按要求對數據進行組織，操作和集成，它包括數據的連接，抽取，轉換和加載，它通過數據連接模塊建立與集成數據源的連接，從數據源抽取數據并將數據格式進行轉換，使抽取的數據可以在不同數據源之間進行加載；該數據分析服務是對數據源或數據集成結果數據進行各種分析，挖掘，獲取數據的內在關聯對需要進行分析的數據選擇合適的數據分析方法，產生分析結果，并以圖形化的手段進行顯示；該代碼編輯服務是根據用戶選擇給用戶提供活動實現過程代碼數據的集成，服務的實現需要以底層代碼為支撐，該服務提供以各種語言，如java，c++，JS實現集成服務功能的代碼，作為用戶編程參考；該界面設計服務是對集成數據的展示界面進行快速設計，提供一種基于模板的顯示界面構建方法，將抽取或者整合的數據作為數據源，定義界面顯示數據內容，選擇界面模板，即生成美觀的顯示界面并進行輸出；該知識管理服務是對集成過程中存在的顯性知識與隱性知識進行收集與存儲，它用于搜集與整理用戶在實現數據集成時產生的經驗與規范；該功能擴展服務是用戶對集成平臺功能進行擴展的接口，它使用戶對平臺提供的活動及模板進行擴展，完善系統功能。

2.一種多源數據集成平臺的構建方法，其特征在于：該方法具體步驟如下：

步驟一：對數據集成常用數據源進行歸類，包括數據庫類型，網頁，文本文件數據類型，對數據集成常用編程語言進行統計；數據庫包括Oralce、DB2、MySQL、Informix、MicrosoftSQL?Server、Sybase，網頁包括HTML，jsp形成的網頁，文本文件包括XML文件，txt文件；常用編程語言有java，C++，VB，Pascal；收集數據集成活動需求及涉及的知識方法和常用數據分析方法，確定數據集成常用的活動以及活動之間存在邏輯關系；數據集成活動分為數據庫操作類、數據轉換類、數據整合類、邏輯類、HTTP操作類、FTP操作類；數據庫操作類提供了執行查詢代碼活動、插入行活動、更新行活動、刪除行活動、調用存儲過程活動、獲取插入行活動、獲取更新行活動和獲取選取表活動；數據轉換類提供了讀取XML活動、寫XML活動、讀JSON活動、寫JSON活動、映射變量活動、檢查XML可用性活動、檢查JSON可用性活動和讀文本文件活動；數據整合類提供了數據合并活動、數據查找活動、數據排序活動等等；邏輯類提供了IF活動、TRY活動、While活動、FOR?EACH活動、BREAK活動、RETURN活動、CONTINUE活動、GROUP活動和PICK活動；HTTP操作類提供了Send?Response活動、Post?Response活動和Receive?Result活動；FTP操作類提供了Put?File活動、選擇文件夾活動、Get?File活動、Delete?File活動、RemoveFile活動和List?Files活動；常用數據分析方法有：排列圖，因果圖，散布圖，直方圖和分層法；

步驟二：根據步驟一收集的集成知識方法構建知識庫，常用數據分析方法構建數據分析算法庫，根據確定的活動和集成平臺支持的編程語言類型構建實現這些活動所需的代碼庫，收集與構建動態頁面構建界面模板庫；知識庫是一個智能數據庫，它對顯性知識進行存儲，對隱形知識進行收集，使知識有序化，加快知識的共享與流動，協作與溝通；數據分析算法庫集成常用數據分析算法，它對用戶的數據分析提供分析方法；代碼庫存儲各種標準功能的各種語言的實現代碼，活動從代碼庫中獲取代碼構建活動實現過程；界面模板庫是各種頁面模板的集合，用戶只需選取界面模板，定義界面的輸入與輸出，即可形成頁面文件；

步驟三：根據步驟一確定的數據源類型與代碼庫中功能的實現函數構建連接層的數據源連接模板，分析數據源的連接方式和輸入參數，根據輸入參數，構建連接層的數據源連接模板的界面文件，然后建立數據源連接實現與界面的關聯，并定義連接層的數據源連接模板的輸出，即完成連接層的數據源連接模板的創建，連接層的數據源連接模板提供對數據源的連接；

步驟四：根據確定的活動，活動的輸入輸出和代碼庫中的實現函數構建活動庫；活動的結構分為輸入，輸出和實現過程，在活動庫中定義活動的名稱、輸入參數、輸出參數和實現過程函數名，在代碼庫中定義實現過程函數的具體執行代碼，按照輸出需求編寫活動的配置頁面，建立頁面和活動庫中活動定義的關聯即完成活動庫的創建；

步驟五：根據步驟一確定的活動之間的關系構建邏輯層的邏輯控制方法；邏輯控制方法主要分為順序，選擇，循環；邏輯層的邏輯控制方法是通過邏輯控制活動來實現的，在活動庫中創建順序，選擇，循環邏輯活動，將這些活動進行組合形成各種邏輯控制；

步驟六：服務層的構建；通過代碼庫、頁面模板庫、知識庫和數據分析算法庫構建數據集成、數據分析、代碼編輯、界面設計、知識管理和功能擴展的服務；數據集成服務是獲取不同數據源的數據，并按要求對數據進行組織，操作和集成；數據分析服務是對數據源或數據集成結果數據進行各種分析、挖掘，獲取數據的內在關聯；代碼編輯服務是根據用戶選擇向用戶顯示活動實現過程的代碼；界面設計服務是根據用戶選擇的數據源與界面模板快速生成數據展示界面；知識管理服務是對知識的收集與整理；功能擴展服務是對平臺提供的活動及模板進行擴展。