[發明專利]一種支持可定制化數據采集的元模型框架系統

有效

• 申請號: 201710479802.9
• 申請日: 2017-06-22
• 公開（公告）號: CN107291471B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 譚火彬;林廣艷;朱明遠;滿坦坦;黃星
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F8/20
• 分類號: G06F8/20
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;顧煒

本發明提供了一種支持可定制化數據采集的元模型框架系統，涉及信息采集領域。本發明針對傳統信息采集系統采集指標變化時，需花費大量人力和時間調整系統的設計方案和代碼實現等共性問題，設計了一種可定制的、支持采集指標動態調整的數據采集通用框架系統。應用該框架，可以快速的開發和部署信息采集系統，降低開發和維護成本。

技術領域

本發明涉及一種可復用、可擴展的支持可定制化數據采集的軟件框架系統。

背景技術

信息采集系統，因其目的不同，采集指標項的結構和內容差異較大，但其采集中涉及的數據采集業務基本類似。針對一套固定的指標進行設計，從數據模型層、數據訪問層甚至是業務服務層和表示層的代碼均對采集指標有強關聯關系，目前的技術方案最大的缺點就是當采集指標進行調整，會花費大量的人力和時間對系統進行變動，數據層、業務層以及表示層均需要進行大量的代碼改動。如果指標差異性明顯的時候，可能需要對系統進行重新開發。

發明內容

本發明的技術解決的問題是：克服現有技術的不足，提供一種通用性好，擴展性強，支持定制化采集指標的通用數據采集框架以應用到信息采集系統中。

本發明的技術解決方案是：抽象采集指標特征，建立數據結構基本穩定的元模型，完成對采集指標項的定義，以此解決采集指標復雜性、差異性和動態性。在此基礎之上實現數據采集管理模塊、數據核查模塊、視圖轉化模塊、元數據管理模塊、服務支持模塊和數據服務模塊。

1、數據采集管理模塊：提供采集數據的增、刪、改、查等基本操作以及導入導出、數據排序等輔助操作；提供采集頁面渲染功能，生成相應的用戶交互界面；數據訪問由元數據管理模塊和服務支持模塊完成SQL的構造最終由數據服務模塊完成SQL語句的執行并返回結果。數據采集管理模塊通過元數據管理模塊提供相關采集指標項的顯示元素信息，由視圖轉化模塊實現對數據封裝和轉化，最終生成指定頁面并展示。

2、數據核查模塊：提供數據前端數據核查、后臺數據核查、數據核查結果管理功能。本框架系統支持在用戶保存數據的時候進行實時核查即前端數據核查；同時，也支持對所有采集數據的后臺統一核查。數據核查模塊通過元數據管理模塊提供的校驗規則和元數據配置信息實現對采集數據的核查，以及對核查結果進行保存，對問題數據進行打標。用戶可通過數據核查管理功能進行核查結果的查詢和導出。

3、視圖轉化模塊：提供對元數據的封裝、參數解析和數據轉化的功能，用于完成對用戶交互頁面的數據組裝、用戶數據可讀性的轉化操作。該模塊主要的數據源為元數據管理模塊提供的元數據信息；其支持數據采集管理、數據核查等相關上層模塊的數據展示。

4、元數據管理模塊：提供采集數據指標的描述信息和支持對元數據的信息維護、元數據查詢等功能。采集數據指標的描述信息具體包括了對采集項目的類型、指標的上下級關系、采集數據的存儲信息、采集交互頁面元素構建信息和數據核查規則信息；元數據管理模塊設計了一套元數據模型(簡稱元模型)方案，對上述的采集數據指標的具體描述信息使用元數據進行形式化描述；所述元模型中的元數據包括：實體元素、屬性元素、實體風格元素、屬性風格元素、核查規則元素、數據字典元素、領域信息元素、分類信息元素。元數據管理模塊提供頁面展示構建元素、數據核查規則信息，元數據信息首先由視圖轉化模塊對信息進行數據封裝、參數解析和數據轉化，最后分別由數據采集管理模塊、數據核查模塊完成頁面生成和渲染。本框架系統對元數據建立了緩存機制，視圖轉化模塊對元數據進行訪問操作時，元數據管理模塊首先會根據數據查詢條件在緩存中進行查詢，如果緩存中存在符合條件的元數據則直接返回結果，否則元數據管理模塊從數據庫中查詢，同時更新緩存。

5、服務支持模塊：支持采集數據的增加、刪除、修改、查詢操作，該模塊根據元數據描述信息實現采集數據執行SQL的構建、參數構建、數據類型處理功能。