[發明專利]一種基于窗口函數的實時工業數據切分方法

在審

• 申請號: 202210020322.7
• 申請日: 2022-01-10
• 公開（公告）號: CN114385701A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 李文義;謝海紅
• 申請（專利權）人: 徐工漢云技術股份有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 母秋松

1.一種基于窗口函數的實時工業數據切分方法，其特征在于：包括如下步驟：

步驟1：用戶根據自身具體業務場景確定是否對采集的實時流數據按照key分組策略進行分組過濾；

步驟2：當確定對采集的實時流數據不按照key分組策略進行分組過濾時，選擇WindowAll窗口算子對實時流數據進行數據預處理，預處理后的實時數據流傳遞給下游窗口算子進行切分處理；

步驟3：當確定對采集的實時流數據按照key分組策略進行分組過濾時，進而選擇KeyedWindow窗口算子對實時流數據按照key分組策略進行分組，分組后的實時數據流由窗口適配器分發給下游窗口算子進行數據切分處理。

2.根據權利要求1所述的一種基于窗口函數的實時工業數據切分方法，其特征在于：所述實時流數據通過接入網關對工業現場終端設備進行采集，并通過消息隊列的發布訂閱機制進行數據傳送。

3.根據權利要求1所述的一種基于窗口函數的實時工業數據切分方法，其特征在于：所述步驟2具體步驟如下：

將對實時流數據進行預處理，預處理完成后，將所有預處理后的數據發送給下游的單個實例窗口函數，當滿足窗口觸發條件后，對窗口內的數據使用窗口處理函數進行數據計算處理，輸出窗口的結果值。

4.根據權利要求3所述的一種基于窗口函數的實時工業數據切分方法，其特征在于：所述預處理方法，包括：將實時流數據字段值進行補全，并按照時間排序。

5.根據權利要求1所述的一種基于窗口函數的實時工業數據切分方法，其特征在于：步驟3具體步驟如下：

按業務場景構建元數據模型，對元數據模型語義描述，獲得元數據模型標簽；

根據用戶數據需求，定制分組關鍵字key；

解析實時流數據中標簽，進行分別對key和實時流數據的標簽進行hash，將hash值一致的實時流數據分為一組；

通過窗口適配器把分組后的實時流數據的元素分配到對應的窗口，當滿足窗口觸發條件后，對窗口內的數據使用窗口處理函數進行數據計算處理，輸出窗口的結果值。

6.根據權利要求3或5所述的一種基于窗口函數的實時工業數據切分方法，其特征在于：所述窗口處理函數至少包括Window Function、Reduce Function、Fold Function其中之一。