[發明專利]為多場景業務提供標準化數據質量校驗的系統

在審

• 申請號: 202111112606.0
• 申請日: 2021-09-23
• 公開（公告）號: CN113849492A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 沈玉軍;邢繼風;劉建華;蔣華;姚思佳;張英杰;杜偉;莊崇;許洋;杜建君;高旭;謝菲;田玉成;郭婕;李民權;何娟娟
• 申請（專利權）人: 北京網聘咨詢有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 張瑩

1.一種為多場景業務提供標準化數據質量校驗的系統，其特征在于：

所述系統從內至外包括基礎支持層、后端服務層、引擎服務層以及應用層；

所述基礎支持層包括如下模塊：服務器集群、數據庫集群、緩存服務器、基礎網絡、安全防護、分布式文件存儲及域名服務；所述數據庫集群、所述緩存服務器、所述基礎網絡、所述安全防護、所述分布式文件存儲、所述域名服務均與所述服務器集群進行交互；所述服務器集群用于定義與歸納整理元數據的管理模型，所述數據庫集群用于將元數據的抽象對象進行版本儲存，所述緩存服務器用于提供對熱點數據的儲存，所述基礎網絡用于提供網絡服務，所述安全防護用于在數據服務層的上層對數據進行加密訪問，所述分布式文件存儲用于存儲日志文件，所述域名服務用于提供訪問域名；

所述后端服務層包括如下模塊：DGraph分布式圖數據庫、Type system類型系統、API應用程序接口、Graph Engine圖像引擎；所述DGraph分布式圖數據庫用于提供對元數據的持久化儲存功能；所述Type system類型系統用于歸納總結及抽象元數據；所述API應用程序接口用于提供對外的數據交互，所述Graph Engine圖像引擎用于提供將Type system中的類型對象轉換成DGraph分布式圖數據庫保存對象的功能；所述API應用程序接口的數據經Type system類型系統歸納整理成類型對象，并將類型對象傳輸至Graph Engine圖像引擎進行類型轉換，接著持久化至DGraph分布式圖數據庫；

所述后端服務層還設置有MetaData Store元數據存儲區與所述Index Store索引存儲區，所述DGraph分布式圖數據庫建立在所述MetaData Store元數據存儲區和所述IndexStore索引存儲區基礎之上；所述MetaData Store元數據存儲區用于定義元數據具體內容；所述Inde x Store索引存儲區用于定義元數據的類型；

所述引擎服務層，用于搭建各類執行器，并在執行器的基礎上增加選擇、匹配、篩選以及關系維護，最后基于整體的模型適配器對外提供服務，最終完成自動加載和解析規則元數據對入參進行相關規則的校驗，并返回驗證結果；

所述應用層包括如下模塊：元數據管理平臺，以及與所述元數據管理平臺相連的各類終端。

2.根據權利要求1所述為多場景業務提供標準化數據質量校驗的系統，其特征在于，所述引擎服務層包括：

所述入參規則匹配器、所述場景規劃篩選器與所述規則關系維護器，在各類執行器的基礎上增加匹配、篩選以及關系維護，并基于整體的模型適配器根據應用層適配性地提供服務；

所述各類執行器包括簡單規則執行器、并行規則執行器、規則執行器選擇器、Drools規則執行器、基礎數據規則執行器及NLP規則執行器，簡單規則執行器、并行規則執行器、規則執行器選擇器、Drools規則執行器、基礎數據規則執行器及NLP規則執行器之間進行規則交互。

3.根據權利要求1所述為多場景業務提供標準化數據質量校驗的系統，其特征在于：

所述服務器集群與所述數據庫集群之間通過基礎網絡來連接，所述基礎網絡利用如下的算法進行數據傳輸優化：

式(I)中，為數據傳輸優化的參數值，P₀、s_j及s’分別為PC端、APP端、第三方應用的三個網絡節點的頂點。

4.根據權利要求1所述為多場景業務提供標準化數據質量校驗的系統，其特征在于：

所述安全防護配置有網絡防火墻，所述網絡防火墻連接于服務器集群的驗證服務模塊；

所述域名服務與第三方的域名服務器相連；

所述緩存服務器通過公網與所述服務器集群相連。

5.根據權利要求1所述為多場景業務提供標準化數據質量校驗的系統，其特征在于：

所述后端服務層的API應用程序接口與所述引擎服務層的規則執行器之間進行數據交互；所述后端服務層為基于Apache Atlas框架進行設計的服務層。