[發明專利]一種智慧園區數據分析補償系統

在審

• 申請號: 202210875239.8
• 申請日: 2022-07-25
• 公開（公告）號: CN115202845A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 李順;秦鋼;宋楊;花京武
• 申請（專利權）人: 杭州指令集智能科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54;G06F5/06;H04L67/12
• 代理公司: 杭州品眾專利代理事務所(特殊普通合伙) 33459
• 代理人: 陳雅晨

本發明公開了一種智慧園區數據分析補償系統，包括：規則配置模塊，用于配置數據模型；數據采集器，與規則配置模塊通信；數據提取分發器，與規則配置模塊通信，還與數據采集器通信，用于通過規則配置模塊配置后將數據采集器采集的數據進行提取和分發；Fink計算任務模塊，與數據提取分發器通信；結果數據分發器，與Fink計算任務模塊通信，還與外部數據使用方通信連接。本發明的智慧園區數據分析補償系統，在園區領域內采用此方案可通過使用簡單函數配置即可開始數據計算任務，配合低代碼組件或者前端工程，即可簡單實現實時數據清洗和展示；可組合不同系統間的數據，統一管理分析；作為一個通用工具，可減輕重復的數據開發工作。

技術領域

本發明涉及一種數據分析補償系統，更具體的說是涉及一種智慧園區數據分析補償系統。

背景技術

物聯網環境下的大數據分析，針對采集的設備數據、同步業務系統模塊的業務數據，進行匯總、按照分析目的對采集的數據進行處理；選擇不同的方法方法和思路，對處理的結果盡心分析；抽象來說就是：收集數據，定制處理方法，轉化指標，輸出提供；

但是過往的數據分析需要用到大量的資源和時間，需要使用整個大數據的環境，不利于在低成本的小環境下的數據分析。

發明內容

針對現有技術存在的不足，本發明的目的在于提供一種內部定義了許多通用的計算函數，能適配大多數的園區數據計算的場景，若涉及到使用復雜或者高階的計算方式的場景，則需要去進一步的函數研發過程，通過函數擴展的形式去豐富計算能力，類似于擴充插件的形式，從而去適配復雜場景的智慧園區數據分析補償系統。

為實現上述目的，本發明提供了如下技術方案：一種智慧園區數據分析補償系統，包括：

規則配置模塊，用于配置數據模型；

數據采集器，與規則配置模塊通信，用于通過規則配置模塊配置后與外部數據提供方通信連接，以通過訂閱數據或是數據拉取的方式采集數據內容；

數據提取分發器，與規則配置模塊通信，還與數據采集器通信，用于通過規則配置模塊配置后將數據采集器采集的數據進行提取和分發；

Fink計算任務模塊，與數據提取分發器通信，以接收數據提取分發器分發的數據后對數據進行計算，計算出結果數據后輸出；

結果數據分發器，與Fink計算任務模塊通信，還與外部數據使用方通信連接，以接收Fink計算任務模塊輸出的結果數據，并傳輸至數據使用方。

作為本發明的進一步改進，所述規則配置模塊配置數據模型的信息為數據采集配置、計算配置和發布配置，其中數據采集配置為配置請求地址、參數和調度周期。

作為本發明的進一步改進，所述數據采集器采集數據內容的具體步驟如下：步驟1，對外部數據提供方的數據來源的類型進行識別，分為API、Mysql和Kafka；步驟2，當類型識別為API和Mysq1時，內置一個統籌的定時器，通過定時器統一管理和調度拉取任務；

步驟3，當類型識別為Kafka時，內置一個具有消息隊列的客戶端，通過客戶端監聽數據推送；

其中，定時器統一管理和調度拉取任務的方式包括時間cron表達式的解析、拉取失敗后的重試以及增量數據的保證，其中增量數據的保證為通過應用redis保證在服務異常情況下減少數據重復消費處理的情況。

作為本發明的進一步改進，所述Fink計算任務模塊進行數據計算的具體方式為首先計算事件隊列FIFO，之后根據計算獲得的事件隊列FIFO進行窗口計算和實時輸出計算，然后將窗口計算結果和實時輸出計算結果打包成結果數據后輸出。

作為本發明的進一步改進，所述計算事件隊列FIFO的具體步驟為通過Fink流數據接收器接收API、Mysql和Kafka所輸出的數據，然后根據規則配置模塊的配置規則匹配和推送事件至窗口計算和實時輸出計算。