[發明專利]一種支持可定制化數據采集的元模型框架系統

有效

• 申請號: 201710479802.9
• 申請日: 2017-06-22
• 公開（公告）號: CN107291471B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 譚火彬;林廣艷;朱明遠;滿坦坦;黃星
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F8/20
• 分類號: G06F8/20
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;顧煒

1.一種支持可定制化數據采集的元模型框架系統，其特征在于：包括數據采集管理模塊、數據核查模塊、視圖轉化模塊、元數據管理模塊、服務支持模塊、數據服務模塊，其中：

數據采集管理模塊：提供采集數據的增加、刪除、修改和查詢基本操作以及導入導出、數據排序、復雜條件查詢操作，當用戶通過數據采集管理模塊對采集數據進行操作時，數據采集管理模塊將用戶的請求參數傳遞給視圖轉化模塊，并訪問元數據管理模塊讀取相應的元數據信息，之后調用服務支持模塊進行SQL構造、參數封裝和類型轉化，最后調用數據服務模塊執行SQL訪問數據庫并返回執行結果，返回的結果則由視圖轉化模塊進行封裝，之后返回到數據采集管理模塊進行展示；

數據核查模塊：提供數據前端數據核查、后臺數據核查、數據核查結果管理，支持在用戶保存數據的時候進行前端實時核查和后臺對所有采集數據的統一核查，前端數據核查發生在用戶采集數據錄入階段，當用戶進行保存數據時，數據核查模塊根據采集項的數據核查規則對該用戶錄入的信息進行實時數據核查，如果驗證成功，則該條數據會進行保存，如果數據驗證失敗，則無法保存該條數據并會對用戶進行提示，用戶進入到數據核查頁面點擊數據核查操作，框架進行后臺數據核查，對采集數據的格式和規范進行核查；后臺數據核查過程如下：數據核查模塊向視圖轉化模塊發送請求，獲取相應的元數據核查規則信息，根據數據核查規則，數據核查模塊對采集數據進行校驗，并對校驗出錯的數據進行記錄打標，對核查結果進行保存；同時，數據核查模塊提供用戶對數據檢查結果進行查詢、導出查詢結果的功能；

視圖轉化模塊：提供對元數據的封裝、參數解析和數據轉化、動態表單生成的功能；視圖轉化模塊統一將數據采集管理模塊、數據核查模塊請求進行處理和參數解析，之后從元數據管理模塊中獲取元數據信息并進行數據組裝和數據轉化，以實現用戶數據可讀性的轉化操作和用戶交互頁面的表單生成；

元數據管理模塊：提供采集數據指標的描述信息和支持對元數據的信息維護、元數據查詢功能；采集數據指標的描述信息包括采集項目的類型、指標的上下級關系、采集數據的存儲信息、采集交互頁面元素構建信息和數據核查規則信息；元數據管理模塊設計了一套元數據模型，對上述的采集數據指標的具體描述信息使用元數據進行形式化描述；所述元模型中的元數據包括：實體元素、屬性元素、實體風格元素、屬性風格元素、核查規則元素、數據字典元素、領域信息元素、分類信息元素；元數據管理模塊同時還提供頁面展示構建元素、數據核查規則信息，元數據信息首先由視圖轉化模塊對信息進行數據封裝、參數解析和數據轉化，最后分別由數據采集管理模塊、數據核查模塊完成頁面生成和渲染，本框架系統對元數據建立了緩存機制，視圖轉化模塊對元數據進行訪問操作時，元數據管理模塊首先會根據數據查詢條件在緩存中進行查詢，如果緩存中存在符合條件的元數據則直接返回結果，否則元數據管理模塊從數據庫中查詢，同時更新緩存；

服務支持模塊：支持采集數據的增加、刪除、修改、查詢操作；服務支持模塊通過被其他模塊調用時傳入的元數據信息，進行采集數據執行SQL的構建、參數構建、數據類型處理，然后將構建的SQL和參數信息返回給被調用模塊；

數據服務模塊：提供訪問底層數據庫的SQL執行和操作接口；數據服務模塊可以被其他模塊調用，根據其他模塊傳入的SQL和參數信息執行數據庫操作；數據庫中存儲著元模型數據和采集數據，元模型數據是用來存儲相關采集數據指標描述信息的元數據的數據庫表即元模型數據存儲表，采集數據是用來存儲相關采集數據的數據庫表即采集數據存儲表，元數據管理模塊可以通過數據服務模塊直接獲取元數據信息；其他模塊也可以通過服務支持模塊構建SQL和參數信息，然后通過數據服務模塊執行SQL操作獲取采集數據。

2.根據權利要求1所述的一種支持可定制化數據采集的元模型框架系統，其特征在于：所述元數據管理模塊中，元模型中的元數據共分為8類，包括：實體元素、屬性元素、實體風格元素、屬性風格元素、核查規則元素、數據字典元素、領域信息元素、分類信息元素，其中實體和屬性元素為核心，描述的是采集數據存儲表的物理結構；實體風格和屬性風格元素是對數據采集的用戶交互方式和字段控件的描述；校驗規則是采集數據核查規則的描述；數據字典定義了數據采集的數據源；領域信息是描述了不同的采集任務和采集批次；分類信息元素是采集指標分級關系的描述信息。

3.根據權利要求1所述的一種支持可定制化數據采集的元模型框架系統，其特征在于：所述服務支持模塊根據傳入的元數據信息和參數信息動態地創建SQL、構建參數以及數據類型；服務支持模塊可根據元數據中實體元素描述的采集數據存儲表的表名和屬性元素描述的采集數據存儲表的字段名動態地拼接查詢和更新操作SQL語句；當執行的SQL中需要使用到表的字段類型時，服務支持模塊可根據元數據的屬性元素所定義的字段類型進行數據類型處理，轉化成采集數據存儲表的字段類型。