[發明專利]一種基于Flink流式引擎的CEP規則更新方法

在審

• 申請號: 202011443193.X
• 申請日: 2020-12-08
• 公開（公告）號: CN112506939A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 黃詩賢;唐敏;賴建華
• 申請（專利權）人: 福建省海峽信息技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2455
• 代理公司: 北京聯瑞聯豐知識產權代理事務所(普通合伙) 11411
• 代理人: 郭堃

本發明公開了一種基于Flink流式引擎的CEP規則更新方法，涉及CEP規則更新方法技術領域，包括以下步驟：每個任務從外部文件加載初始的規則，根據鍵值對保存在內存中，另外任務從外部消息引擎接入事件流，根據加載的規則進行分析；從外部緩存或者系統獲取需要更新規則數據，然后進行廣播，并與事件流進行結合。本發明中任務從外部消息引擎接入事件流，根據加載的規則進行分析，從外部緩存或者系統獲取需要更新規則數據，然后進行廣播，只需去規則庫獲取一次規則，同時把此更新規則轉換成特殊標志的事件流，如果下游算子并行度只有一個，就生成一個事件，如果有多個，就生成多個相應事件，事件的類型字段改成規則類型，事件的編號改成規則的編號，其他相應字段也做更新。

技術領域

本發明涉及一種CEP規則更新方法，涉及CEP規則更新方法技術領域，具體涉及一種基于Flink流式引擎的CEP規則更新方法。

背景技術

數據流式引擎更新規則一般是從緩存中讀取，并將規則生成流，然后跟事件流進行結合，在結合節點上進行替換原有規則，然后可用新規則進行分析，雖然是結合流，但是對兩個流的事件還是要分開處理，另外，對于CEP庫分析事件流無法直接進行分析，還需要增加額外的業務邏輯代碼才能進行分析。針對現有技術存在以下問題：

1、現有的規則更新方法只能更新結合流的算子節點，無法更新結合流下游的算子節點；

2、現有的規則更新方法對于一般的規則更新是沒問題，但是對于CEP規則的話，則需要進行業務代碼重新改寫。

發明內容

本發明提供一種基于Flink流式引擎的CEP規則更新方法，其中一種目的是為了具備更新下游算子節點的能力,解決只能更新流結合的算子節點的問題；其中另一種目的是為了解決CEP規則需要進行業務代碼重新改寫再更新的問題，以達到簡化更新過程的效果。

為解決上述技術問題，本發明所采用的技術方案是：

其中一方面是一種基于Flink流式引擎的CEP規則更新方法，包括以下步驟：

步驟一：每個任務從外部文件加載初始的規則，根據鍵值對保存在內存中，另外任務從外部消息引擎接入事件流，根據加載的規則進行分析；

步驟二：從外部緩存或者系統獲取需要更新規則數據，然后進行廣播，并與事件流進行結合,每個任務在此算子節點獲取結合流；

步驟三：根據更新規則的編號，與步驟二算子節點的鍵比對，如果一樣，把此更新規則轉換成特殊標志的事件流，如果此時有多個并發節點，需要根據規則進行拷貝多份規則事件，并設置不同的指定字段的值，然后往此任務的下游算子投遞事件流；

步驟四：分析的算子節點根據特殊事件流的編號信息及版本信息，與此節點現有的規則進行比對，只有都一致情況，則更新此規則，并用新規則進行實時關聯分析。

本發明技術方案的進一步改進在于：所述步驟一中初始的規則為含有規則編號的多個規則列表。

本發明技術方案的進一步改進在于：所述步驟三中規則流中根據更新規則的編號，與需要更新的算子節點的規則的鍵比較，如果比較結果不一致，則忽略此更新規則。

本發明技術方案的進一步改進在于：所述步驟三中規則流中根據更新規則的編號，與需要更新的算子節點的規則的鍵比較，如果比較結果一致，則把此更新規則轉換成特殊標志的事件流，根據下游算子并行度，相應生成多個事件，事件的類型字段改成規則類型，事件的編號改成規則的編號，其他相應字段也做更新。

本發明技術方案的進一步改進在于：所述步驟三中往此任務的下游算子投遞事件流時該事件流為含有特殊標志的事件流后，所述步驟四中下游算子根據事件類型和編號與算子中使用的規則比較，如果類型是規則類型，算子則更新現有規則，如果是事件類型，就用當前規則分析此事件。