[發明專利]一種分布式多引擎數據質量管理系統

在審

• 申請號: 201811131030.0
• 申請日: 2018-09-27
• 公開（公告）號: CN109254961A
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 楊秋勇;楊朝誼;黃劍文;伍江瑤;魏理豪;萬嬋;陳健欣;范國勇;盧小攀;李松
• 申請（專利權）人: 廣東電網有限責任公司信息中心;廣州博納信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/21
• 代理公司: 佛山市智匯聚晨專利代理有限公司 44409
• 代理人: 李海鵬

1.一種分布式多引擎數據質量管理系統，其特征在于：包括分布儲存于多個設備內的數據庫、前端系統界面以及用于從數據庫內抽取數據至前端系統界面的核心引擎，所述數據庫包括有業務數據以及問題數據，所述核心引擎包括有規則引擎、評價引擎和問題數據導出引擎；所述規則引擎抽取數據主鍵從數據庫內抽取業務數據并，所述評價引擎使用分布式運算方式對問題數據進行數據去重和分類；所述問題數據導出引擎根據主鍵讀取明細數據。

2.根據權利要求1所述的一種分布式多引擎數據質量管理系統，其特征在于：所述數據庫為HWAQ數據庫并以HDFS文件作為業務數據以及問題數據的儲存方式。

3.根據權利要求1所述的一種分布式多引擎數據質量管理系統，其特征在于：還包括有用于儲存元數據于校驗規則的oracle數據庫。

4.根據權利要求1所述的一種分布式多引擎數據質量管理系統，其特征在于：所述規則引擎可并行執行N個任務，當規則引擎的任務數量大于N個時，根據預設規則的優先級對該多個任務進進行任務調度。

5.根據權利要求1或4所述的一種分布式多引擎數據質量管理系統，其特征在于：當所述規則引擎執行任務后將結果數據按主鍵分類并反饋至數據庫中作為問題數據進行儲存。