[發明專利]分布式數據開發引擎系統

在審

• 申請號: 202010413546.5
• 申請日: 2020-05-15
• 公開（公告）號: CN111596950A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 閆晉文;伊周琪;胡波
• 申請（專利權）人: 博易智軟(北京)技術有限公司
• 主分類號: G06F8/70
• 分類號: G06F8/70;G06F9/448
• 代理公司: 北京中南長風知識產權代理事務所(普通合伙) 11674
• 代理人: 鄭海

本發明實施例提供一種分布式數據開發引擎系統，該系統包括：數據開發服務群，用于開發數據任務；基礎服務群，用于存儲所述數據任務的數據信息；作業服務群，用于監控所述數據任務的執行。本發明實施例提供的一種分布式數據開發引擎系統，通過數據開發服務群、基礎服務群和作業服務群之間的服務關聯，將數據任務開發過程抽象為多個核心服務，服務間相互協同，達到數據平臺化統一治理，統一開發，解決傳統數據開發規范無法統一、流程無法統一，調度無法統一，上線發布無法統一管控的問題。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種分布式數據開發引擎系統。

背景技術

隨著互聯網和信息產業的快速發展，大數據應用市場不斷擴大，大數據作為國家戰略，在推動我國經濟轉型升級過程中發揮著關鍵作用，其已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素，逐漸成為現代社會發展的資源，各行各業都開始重視數據的價值。

在傳統企業級數據任務開發過程中，因數據邏輯本身的復雜度原因，會面臨四大困難：

1)系統獨立數據隔離

在傳統煙囪式的應用開發架構下，形成了諸多的數據孤島，數據共享不暢。當應用需求在不斷變換，多個服務模塊都可能會面臨接口的調整甚至重構，導致應用迭代效率低下。

2)敏捷能力差

面對快速迭代的業務需求，業務人員對數據分析及展現提出了更高的敏捷化的要求。IT技術人員與業務人員之間針對需求變更和迭代的溝通時間太長。

3)核心系統壓力大

隨著移動互聯網的興起，越來越多的系統面臨高并發、低延遲、高吞吐的壓力，導致大量業務系統需要頻繁擴容，維護團隊疲于奔命

4)數據訪問能力低

全量歷史數據提供直接在線服務時因數據量過大，數據展現時因為加載時間過長引起使用者不滿。

發明內容

針對現有技術存在的問題，本發明實施例提供一種分布式數據開發引擎系統。

本發明提供一種分布式數據開發引擎系統，包括：

數據開發服務群，用于開發數據任務；

基礎服務群，用于存儲所述數據任務的數據信息；

作業服務群，用于監控所述數據任務的執行。

進一步地，所述數據開發服務群包括引擎管理服務單元、數據管理服務單元和數據開發服務單元，其中：

引擎管理服務單元，用于創建執行所述數據任務的數據引擎。

數據管理服務單元，用于創建對應于所述數據引擎的數據源，以及配置對應于所述數據源的數據接口。

數據開發服務單元，用于根據所述數據引擎和所述數據源開發數據任務。

進一步地，所述基礎服務群包括元數據服務單元、標簽服務單元和數據質量服務單元，其中：

元數據服務單元，用于存儲及管理對應于數據源的底層數據；

標簽服務單元，用于創建及存儲對應于數據源的標簽；

數據質量服務單元，用于創建及存儲對數據源進行分析判定的數據質量規則。

進一步地，所述作業服務群包括監控服務單元、發布服務單元和操作服務單元，其中：

監控服務單元，用于配置對應于數據任務的監控配置信息和預警配置信息；

發布服務單元，用于發布開發后的數據任務；