[發明專利]一種基于窗口函數的實時工業數據切分方法

在審

• 申請號: 202210020322.7
• 申請日: 2022-01-10
• 公開（公告）號: CN114385701A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 李文義;謝海紅
• 申請（專利權）人: 徐工漢云技術股份有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 母秋松

本發明公開了一種基于窗口函數的實時工業數據切分方法，用戶根據自身具體業務場景確定是否對采集的實時流數據按照key分組策略進行分組過濾；當確定對采集的實時流數據不按照key分組策略進行分組過濾時，選擇Window All窗口算子對實時流數據進行數據預處理，預處理后的實時數據流傳遞給下游窗口算子進行切分處理；當確定對采集的實時流數據按照key分組策略進行分組過濾時，進而選擇Keyed Window窗口算子對實時流數據按照key分組策略進行分組，分組后的實時數據流由窗口適配器分發給下游窗口算子進行數據切分處理。本發明能夠根據不同行業不同設備不同參數數據動態適配窗口函數，調整切分策略，實現可擴展、可動態適配窗口函數的實時數據切分與處理。

技術領域

本發明涉及一種基于窗口函數的實時工業數據切分方法，屬于物聯網大數據技術領域。

背景技術

物聯網是在PC互聯網和移動互聯網基礎上的擴展和延伸，各種物體通過傳感技術實時采集海量數據信息，并通過大數據技術進行數據匯聚，隨著越來越多的設備連接網絡，匯聚到網絡上的數據也越來越多，且分布在不同的數據源頭節點，不同數據節點、不同系統根據不同任務進行計算與分析部署。

如何從海量的實時工業數據中按業務場景的要求獲得用戶所需的工業數據，并進行計算分析，是本領域技術員急需要解決的技術問題。

發明內容

目的：為了克服現有技術中存在的不足，本發明提供一種基于窗口函數的實時工業數據切分方法，為了了方便工業數據分析與挖掘，形成業務決策反饋給用戶，從而為用戶挖掘價值。

技術方案：為解決上述技術問題，本發明采用的技術方案為：

一種基于窗口函數的實時工業數據切分方法，包括如下步驟：

步驟1：用戶根據自身具體業務場景確定是否對采集的實時流數據按照key分組策略進行分組過濾。

步驟2：當確定對采集的實時流數據不按照key分組策略進行分組過濾時，選擇Window All窗口算子對實時流數據進行數據預處理，預處理后的實時數據流傳遞給下游窗口算子進行切分處理。

步驟3：當確定對采集的實時流數據按照key分組策略進行分組過濾時，進而選擇Keyed Window窗口算子對實時流數據按照key分組策略進行分組，分組后的實時數據流由窗口適配器分發給下游窗口算子進行數據切分處理。

作為優選方案，所述實時流數據通過接入網關對工業現場終端設備進行采集，并通過消息隊列的發布訂閱機制進行數據傳送。

作為優選方案，所述步驟2具體步驟如下：

將對實時流數據進行預處理，預處理完成后，將所有預處理后的數據發送給下游的單個實例窗口函數，當滿足窗口觸發條件后，對窗口內的數據使用窗口處理函數進行數據計算處理，輸出窗口的結果值。

作為優選方案，所述預處理方法，包括：將實時流數據字段值進行補全，并按照時間排序。

作為優選方案，步驟3具體步驟如下：

按業務場景構建元數據模型，對元數據模型語義描述，獲得元數據模型標簽。

根據用戶數據需求，定制分組關鍵字key。

解析實時流數據中標簽，進行分別對key和實時流數據的標簽進行hash，將hash值一致的實時流數據分為一組。

通過窗口適配器把分組后的實時流數據的元素分配到對應的窗口，當滿足窗口觸發條件后，對窗口內的數據使用窗口處理函數進行數據計算處理，輸出窗口的結果值。

作為優選方案，所述窗口處理函數至少包括Window Function、Reduce Function、Fold Function其中之一。