[發明專利]一種全鏈路數據整合方法及系統

在審

• 申請號: 202210282552.0
• 申請日: 2022-03-22
• 公開（公告）號: CN114626822A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 張立國;張新菊;江海燕;劉傳安;王麗
• 申請（專利權）人: 山東省國土測繪院;應急管理部大數據中心
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q10/06;G06F16/25;G06F9/48;G06F16/23
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡

本發明涉及一種全鏈路數據整合方法及系統，所述方法包括如下步驟：步驟1、通過引接業務數據、物聯設備數據形成數據資源池；步驟2、通過數據質量檢測方法判斷數據質量；步驟3、通過數據分層分域、標準轉換、去重處理數據形成數據編目；步驟4、最終通過零編碼的數據服務功能提供整合后的數據。本發明提供的系統為行業構建完善、共享、統一管理數據環境提供基本保障，是把行業的監測數據、業務數據等數據的數據作為資產管理的有效手段。

技術領域

本發明涉及計算機物聯網領域，尤其涉及一種全鏈路資源數據整合方法及系統。

背景技術

行業內存在大量的業務系統和物聯設備，目前已有大量的存量數據，系統和物聯設備運行隨時產生增量數據。但是當前情況是數據分散，標準缺失，缺乏技術手段對數據匯聚處理，無法形成統一有效、有價值的數據。在當前數據作為生產資料的時代，如何有效匯聚、處理數據，形成行業的數據資產目錄，并通過數據服務能力，提高各部門之間、以及本部門與其他部門之間的業務協同能力，對行業具有重大意義。

發明內容

本發明主要解決的技術問題是提供一種數據整合和價值變現系統，本發明的系統通過數據引接、數據處理、數據編目、數據服務功能，實現資源類數據的整合和價值變現。通過引接業務系統、物聯設備數據形成數據資源池，通過數據質量檢測方法判斷數據質量，通過數據分層分域、標準轉換、去重等規則處理數據形成資源數據編目，最終通過零編碼的數據服務功能提供數據價值變現的通道。本發明通過引接、處理數據，形成資源數據編目，并以靈活的方法提供數據服務，提高數據在業務聯動中的利用價值。

本發明的技術方案為：一種全鏈路數據整合方法，包括如下步驟：

步驟1、通過引接業務系統、物聯設備數據形成數據資源池；

步驟2、通過數據質量檢測方法判斷數據質量；

步驟3、通過數據分層分域、標準轉換、去重處理數據形成資源數據編目；

步驟4、最終通過零編碼的數據服務功能提供整合后的數據。

根據本發明的另一方面，提出一種全鏈路數據整合系統，包括：數據源模塊、任務調度模塊、數據引接模塊、數據處理模塊、數據編目模塊和數據服務模塊，通過各個模塊協作配合，整合數據全鏈路數據；其中，

數據源模塊利用ClassLoader技術，采用插件化機制，在內存中對不同的數據庫驅動隔離管理，避免沖突；提供數據源SDK給有數據查詢需求的功能模塊，即數據引接模塊和數據處理模塊，實現數據源動態加載；

任務調度模塊采用分布式調度技術，調度作為master,執行方作為worker，可配置任務調度周期，按照年月日時分周期調度數據處理和數據服務任務，master利用分布式鎖控制worker調度和執行，多個worker采用偽分布式機制，采用單點部署，或---根據并發量擴展多個worker節點。

數據引接模塊包括數據庫引接、物聯設備數據實時采集和消息中間件數據引接，其中數據庫引接模塊引用數據源SDK,通過數據庫提供的JDBC接口引接數據、物聯設備數據引接通過適配物聯設備協議，實時引接物聯數據寫入消息中間件，消息中間件數據引接通過訂閱消費模式，監聽消息中間件topic，實時消費數據；

數據處理模塊通過組件化配置方式，可視化設計數據處理流程，包括去重、字符串替換、json解析、時間格式轉換等，提交到任務調度模塊；

數據編目根據業務梳理數據資源分類，按照樹型結構編排目錄體系，形成資源數據資產，數據開發者選擇數據資產對外發布；

數據服務模塊以零編碼的方式，提供可視化SQL編輯窗口，數據開發者編寫SQL并發布為數據服務，數據服務經審核通過后向其他數據需求方提供查詢和訂閱功能，數據需求方根據數據服務開發規范調用數據服務接口獲取數據。

有益效果：