[發明專利]一種工業物聯網場景的流式數據處理方法

在審

• 申請號: 202010521832.3
• 申請日: 2020-06-10
• 公開（公告）號: CN111611286A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 繆燕;喻翠微;陳曉娟
• 申請（專利權）人: 北京許繼電氣有限公司;國家電網有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/22;G06F16/25;H04L29/06;H04L29/08
• 代理公司: 北京立成智業專利代理事務所(普通合伙) 11310
• 代理人: 張厚山

本發明實施例提供一種工業物聯網場景的流式數據處理方法，包括：數據流確定步驟，用于在數據庫中為每一物聯網設備生成數據表，所述數據表至少包括：對應于所述物聯網設備ID的標識、用于標識數據的采集時間的日期字段、用于標識每一信息點ID的信息點字段；規則確定步驟：用于確定流式數據處理和存儲規則，以把業務需求轉化為SQL語句，并對所述數據庫進行條件檢索；統一訪問接口UAPI確定步驟：用于生成物聯平臺服務器端提供給采集終端進行實時數據上傳的UAPI。

技術領域

本發明實施例涉及數據處理技術領域，特別涉及一種工業物聯網場景的流式數據處理方法。

背景技術

隨著智能制造、工業物聯網和人工智能設備的迅猛發展，工業生產中信息量呈爆炸性增長態勢，且數據類型也多種多樣。例如在物聯網環境監控、設備監控與分析、無人設備巡檢、輸變電狀態監測、用電信息采集監控等業務應用中，都會產生大量的數據；在實際應用中需要對這些數據根據時間順序進行遞增式處理以用于多種分析，包括關聯、聚合、篩選和取樣。這類數據被稱為流式數據，具有以下特點：1)數據持續發生，實時到達；2)數據到達次序獨立，不受應用系統所控制；3)數據規模宏大且不能預知其最大值。

對于流式數據的處理，早期的方式是基于關系型數據庫開發應用程序，例如收集環境溫度以及進行滾動計算最小值-最大值等初級處理；然而隨著管理需求的升級，這些應用程序需要發展為更加復雜的近實時處理，除了生成簡單的報告，超出一定閥值時發出警報外，還會執行形式更加復雜的數據分析，如應用機器學習算法，從數據中提取更深入的信息。這時候，基于關系型數據庫的應用系統面對這類數據在即時存儲、分析計算、查詢性能等方面往往難以勝任，急需針對流式數據特點，具備高速存儲速度、高效壓縮算法，并能對億級數據提供分組聚合運算等功能的流式數據存儲處理方法。

發明內容

針對現有技術中缺少對工業物聯網場景下的流式數據進行有效處理的問題，本發明實施例提出了一種工業物聯網場景的流式數據處理方法。

為了解決上述問題，本發明實施例提出了一種工業物聯網場景的流式數據處理方法，包括：

數據流確定步驟，用于在數據庫中為每一物聯網設備生成數據表，所述數據表至少包括：對應于所述物聯網設備ID的標識、用于標識數據的采集時間的日期字段、用于標識每一信息點ID的信息點字段；

規則確定步驟：用于確定流式數據處理和存儲規則，以把業務需求轉化為SQL語句，并對所述數據庫進行條件檢索；

統一訪問接口UAPI確定步驟：用于生成物聯平臺服務器端提供給采集終端進行實時數據上傳的UAPI，其中所述UAPI用于為上層應用服務提供統一的訪問接口且禁止SQL直接訪問屏蔽底層數據庫的具體實現細節及差異；其中所述每一數據流對應一個UAPI，且所述UAPI的接口參數的名稱和類型格式與對應數據流一致。

在一些實施例中，所述方法還包括：

數據傳輸步驟，用于控制所述采集終端將物聯網設備的實時數據發送到物聯平臺服務器端，并將接收到的數據通過所述UAPI的接口參數格式對實時處理進行處理后進行加密，并調用getEweldingData接口API向物聯平臺服務器端發出Http請求傳送數據；物聯平臺服務器端接收到Http請求內容后，首先根據收到的API名稱與對應數據流進行關聯，然后解密數據內容，并啟動多線程服務，把解密后的數據發送到流式數據庫系統對應的數據流。

在一些實施例中，所述方法還包括：

數據庫接收到物聯平臺服務器端的流式數據后，對所述流式數據進行鑒別，以確定與所述流式數據對應的規則；根據所述規則確定步驟確定的規則對流式數據進行處理。

在一些實施例中，所述方法還包括：