[發明專利]基于最小依賴的細粒度科研數據融合系統

有效

• 申請號: 201210335624.X
• 申請日: 2012-09-12
• 公開（公告）號: CN102902736A
• 公開（公告）日: 2013-01-30
• 發明（設計）人: 賴會霞;張仕
• 申請（專利權）人: 福建師范大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

技術領域

本發明涉及的是信息技術領域的系統，具體的說是基于最小依賴的細粒度科研數據融合系統，用于有目標地收集Internet上科學研究方面的數據。

背景技術

信息融合系統是對多源異構數據提供統一的存儲、查詢和管理的系統。由于數據在不同的數據源中有不同的表示方式，所以需要針對各個數據源設定特定的數據獲取方法，并對這些數據加以整合，形成具有實用意義的數據。

當前，數據融合的數據來源是由數據融合系統方主動查找，并且在找到的數據源模式和融合系統的目標模式之間建立映射關系。這種方式具有很大的被動性，容易忽略一些較小的、零散的、未被廣泛知曉的數據源，例如科研課題發布信息。同時，當前使用的數據映射方法需要較為專業的知識，這在某種程度上也就造成了普通的數據源提供者加入數據融合系統、為數據融合系統提供數據的難度。

因此，為了從根本上解決多源異構數據融合系統的靈活性、可擴展性和簡單易用性，需要研發一個開放的，使數據源所有者可以主動參與的，并且能夠為廣大使用者提供服務的新數據融合系統。

經對現有技術文獻的檢索發現，中國專利申請號?200710042896.X，發明名稱：基于海量交通信息的融合系統，公開號：CN101075227，該專利的數據融合系統中，主要考慮到若干個集中的數據源，提供專業應用人員使用；其并沒有考慮到當數據源是一些較小，較零散，且數據源來源多樣的情況。

發明內容

本發明的目的在于克服現有技術和系統的不足，提供基于最小依賴的細粒度科研數據融合系統，保證系統的開放性，增強數據源所有者參與的主動性，降低數據源參與者的技術難度。本發明采用基于路徑的數據導航技術，使其能夠在網絡環境下為不同信息來源提供一種靈活，高效的數據融合系統，解決當前信息集成系統不能對非結構化數據進行細粒度分析和提取的問題；同時采用開放式結構，可視化的基礎數據表映射技術，使所有潛在的數據提供者都可以加入該數據融合系統，為系統提供數據的支持。同時對信息融合系統進行模塊化構造，以解決數據融合系統重復開發，共享性差等問題，推動數據融合的應用和發展。

本發明采用以下方案實現：一種基于最小依賴的細粒度科研數據融合系統，其特征在于：包括數據采集服務器、信息融合服務器、映射及依賴管理服務器、系統交互管理服務器以及數據發布服務器；其中系統交互管理服務器和信息融合服務器之間以及系統交互管理服務器和映射及依賴管理服務器之間分別通過網絡連接；信息融合服務器分別與映射及依賴管理服務器、數據采集服務器、數據發布服務器、系統交互服務器連接；所述數據采集服務器是能夠以指定方式訪問網絡上的數據庫、HTML、XML數據，并獲取相應信息的計算機；所述映射及依賴管理服務器是專門用于存儲和管理數據源、系統最小依賴集和數據源模式到該融合系統基礎數據模式映射關系的計算機；所述信息融合服務器是從映射及依賴管理服務器獲取數據源信息，調度數據采集服務器，獲取數據采集服務器返回結果，并進行數據融合處理的計算機；所述系統交互管理服務器是為管理用戶和數據源用戶提供數據融合系統可視化操作界面的計算機；所述數據發布服務器是指專門用于接受數據用戶請求，并把結果反饋給數據用戶的計算機。

本發明系統具有良好的擴展性和簡單易用性。本發明系統采用分布式系統架構，各個服務器遵循既定的通信接口，系統的各個組成部分可以放置于同一臺服務器，也可以是分布式環境下多臺服務器，使系統可以適應不同規模的應用。系統中各類服務器可以進行增加、擴展，使系統能夠適應更大的吞吐量。整個系統通過系統交互管理服務器提供統一的用戶注冊、維護數據源維護、管理用戶管理整個系統的門戶；數據發布服務器提供統一的數據用戶數據請求調用接口和可視化Web頁面，方便數據用戶使用。

本發明系統具有良好的開放性，使數據源用戶可以主動參與數據融合系統的建設。現有數據集成系統通常是有目標的獲取數據源，并有系統管理用戶建立兩者之間數據的映射關系。而本發明系統則是通過基礎數據模式，由數據源用戶在系統上注冊自身數據源，并且建立數據源和系統基礎數據模式之間的映射關系。這種做法使系統能夠集中成千上萬具有少量數據的用戶為整個系統的服務，從而達到數據數據源的多樣性。

本發明系統具有良好的靈活性，可以使數據用戶根據自身的需要從數據融合系統基礎數據模式的基礎上重組得到自身要求格式。本發明系統所采集數據都是以基礎數據表加以存儲的，用戶可以從這些小的存儲表中進行選擇、投影、連接操作，從而得到滿足自身需要的數據格式。