[發明專利]一種全鏈路數據整合方法及系統

在審

• 申請號: 202210282552.0
• 申請日: 2022-03-22
• 公開（公告）號: CN114626822A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 張立國;張新菊;江海燕;劉傳安;王麗
• 申請（專利權）人: 山東省國土測繪院;應急管理部大數據中心
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q10/06;G06F16/25;G06F9/48;G06F16/23
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡

1.一種全鏈路數據整合方法，其特征在于，包括如下步驟：

步驟1、通過引接業務數據、物聯設備數據形成數據資源池；

步驟2、通過數據質量檢測方法判斷數據質量；

步驟3、通過數據分層分域、標準轉換、去重處理數據形成資源數據編目；

步驟4、最終通過零編碼的數據服務功能提供整合后的數據。

2.根據權利要求1所述的一種資源數據整合方法，其特征在于，還包括：

對數據庫、中間件、文件系統的多源異構的數據進行引接適配。

3.根據權利要求1所述的一種資源數據整合方法，其特征在于，還包括：

采用組件化可拖拽式設計和動態SQL式的數據質量檢測和數據清洗。

4.根據權利要求1所述的一種資源數據整合方法，其特征在于，還包括：

結合數據標準和大數據平臺進行可視化數據建模。

5.根據權利要求1所述的一種資源數據整合方法，其特征在于，還包括：

結合數據分級分類和用戶權限管控實現零編碼的數據服務。

6.一種全鏈路資源數據整合系統，其特征在于，包括：數據源模塊、任務調度模塊、數據引接模塊、數據處理模塊、數據編目模塊和數據服務模塊，通過各個模塊協作配合，整合數據全鏈路數據；其中，

數據源模塊利用ClassLoader技術，采用插件化機制，在內存中對不同的數據庫驅動隔離管理，避免沖突；提供數據源SDK給有數據查詢需求的功能模塊，即數據引接模塊和數據處理模塊，實現數據源動態加載；

任務調度模塊采用分布式調度技術，調度作為master,執行方作為worker，可配置任務調度周期，按照年月日時分周期調度數據處理和數據服務任務，master利用分布式鎖控制worker調度和執行，多個worker采用偽分布式機制，采用單點部署，或根據并發量擴展多個worker節點；

數據引接模塊包括數據庫引接、物聯設備數據實時采集和消息中間件數據引接，其中數據庫引接模塊引用數據源SDK,通過數據庫提供的JDBC接口引接數據、物聯設備數據引接通過適配物聯設備協議，實時引接物聯數據寫入消息中間件，消息中間件數據引接通過訂閱消費模式，監聽消息中間件topic，實時消費數據；

數據處理模塊通過組件化配置方式，可視化設計數據處理流程，包括去重、字符串替換、json解析、時間格式轉換，提交到任務調度模塊；

數據編目根據資源業務梳理數據資源分類，按照樹型結構編排目錄體系，形成資源數據資產，數據開發者選擇數據資產對外發布；

數據服務模塊以零編碼的方式，提供可視化SQL編輯窗口，數據開發者編寫SQL并發布為數據服務，數據服務經審核通過后向其他數據需求方提供查詢和訂閱功能，數據需求方根據數據服務開發規范調用數據服務接口獲取數據。