[發明專利]一種工業物聯網場景的流式數據處理方法

在審

• 申請號: 202010521832.3
• 申請日: 2020-06-10
• 公開（公告）號: CN111611286A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 繆燕;喻翠微;陳曉娟
• 申請（專利權）人: 北京許繼電氣有限公司;國家電網有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/22;G06F16/25;H04L29/06;H04L29/08
• 代理公司: 北京立成智業專利代理事務所(普通合伙) 11310
• 代理人: 張厚山

1.一種工業物聯網場景的流式數據處理方法，其特征在于，包括：

數據流確定步驟，用于在數據庫中為每一物聯網設備生成數據表，所述數據表至少包括：對應于所述物聯網設備ID的標識、用于標識數據的采集時間的日期字段、用于標識每一信息點ID的信息點字段；

規則確定步驟：用于確定流式數據處理和存儲規則，以把業務需求轉化為SQL語句，并對所述數據庫進行條件檢索；

統一訪問接口UAPI確定步驟：用于生成物聯平臺服務器端提供給采集終端進行實時數據上傳的UAPI，其中所述UAPI用于為上層應用服務提供統一的訪問接口且禁止SQL直接訪問屏蔽底層數據庫的具體實現細節及差異；其中所述每一數據流對應一個UAPI，且所述UAPI的接口參數的名稱和類型格式與對應數據流一致。

2.根據權利要求1所述的工業物聯網場景的流式數據處理方法，其特征在于，還包括：

數據傳輸步驟，用于控制所述采集終端將物聯網設備的實時數據發送到物聯平臺服務器端，并將接收到的數據通過所述UAPI的接口參數格式對實時處理進行處理后進行加密，并調用getEweldingData接口API向物聯平臺服務器端發出Http請求傳送數據；物聯平臺服務器端接收到Http請求內容后，首先根據收到的API名稱與對應數據流進行關聯，然后解密數據內容，并啟動多線程服務，把解密后的數據發送到流式數據庫系統對應的數據流。

3.根據權利要求2所述的工業物聯網場景的流式數據處理方法，其特征在于，還包括：

數據庫接收到物聯平臺服務器端的流式數據后，對所述流式數據進行鑒別，以確定與所述流式數據對應的規則；根據所述規則確定步驟確定的規則對流式數據進行處理。

4.根據權利要求3所述的工業物聯網場景的流式數據處理方法，其特征在于，還包括：

根據所述規則對流式數據進行分析以確定所述流式媒體是否符合規則，如果是則將所述流式數據存儲到數據庫的對應數據表中；不符合規則的流式數據刪除并記錄在日志。

5.根據權利要求3所述的工業物聯網場景的流式數據處理方法，其特征在于，還包括：

數據存儲步驟，用于對數據庫中的數據進行存取和管理；所述數據存儲步驟以在根據所述規則確定步驟確定的規則對流式數據進行處理后，將所述流式書進行批量并行插入；且所述數據存儲步驟還用于對數據進行壓縮后存儲。

6.根據權利要求4所述的工業物聯網場景的流式數據處理方法，其特征在于，還包括：

異常數據處理步驟，用于根據預設規則掃描物聯平臺服務器端的日志以確定不符合規則的流式數據；針對所述不符合規則的流式數據進行機器學習以對不符合規則的流式數據的數據進行修正或補齊。

7.根據權利要求4所述的工業物聯網場景的流式數據處理方法，其特征在于，還包括：

數據通道建立步驟，用于在采集終端與和物聯平臺服務器端之間通過連接證書和加密方式建立數據傳輸通道。