[發明專利]一種基于flink和規則表達式的數據處理方法、裝置及設備

有效

• 申請號: 202310064279.9
• 申請日: 2023-02-06
• 公開（公告）號: CN115794445B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 甄天劍;鄧小寧;金洪殿;李策;劉闖;劉暢
• 申請（專利權）人: 北方健康醫療大數據科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/2457;G06F16/25
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 梁軍麗

1.一種基于flink和規則表達式的數據處理方法，其特征在于，包括：

通過規則表達式語言jexl規則配置器配置處理規則，將所述處理規則固化到規則庫；

當消息處理引擎啟動時，通過規則緩存管理器將所述規則庫加載到所述消息處理引擎的內存中，所述消息處理引擎在flink流式處理框架提供的基礎運行環境中運行；

在通過規則緩存管理器將所述規則庫加載到所述消息處理引擎的內存中之后，循環監聽zookeeper；當監聽到所述zookeeper中特定規則key和管理命令key的狀態變更時，熱更新所述消息處理引擎的jexl規則匹配器；重新監聽所述zookeeper中的特定規則key和管理命令key的狀態；

將從數據源獲取的消息報文與所述內存中的處理規則進行匹配；

若確定有匹配成功的處理規則，則根據所述處理規則的優先級，將所述消息報文匹配成功的處理規則生成一條完整的規則鏈；

確定所述規則鏈中每一條處理規則對應的處理機方法；

確定所述處理機方法對應的處理步驟，根據所述處理步驟對所述報文進行處理；

將處理后的消息報文傳輸至外部系統。

2.根據權利要求1所述的方法，其特征在于，所述通過規則表達式語言jexl規則配置器配置處理規則，將所述處理規則固化到規則庫，具體包括：

通過表達式語言jexl規則配置器對處理規則進行可視化配置或后臺配置；

根據樣例報文對配置的所述處理規則進行校驗；

將通過校驗后的處理規則固化到規則庫中。

3.根據權利要求2所述的方法，其特征在于，在根據樣例報文對配置的所述處理規則進行校驗后，所述方法還包括：

根據通過校驗后的處理規則生成處理規則通知；

根據所述處理規則通知生成操作信號，將所述操作信號傳輸到動物園管理員zookeeper。

4.根據權利要求3所述的方法，其特征在于，所述zookeeper中定義有多個鍵key，每個key對應不同規則或不同的管理命令；

zookeeper接收來自jexl規則配置器的操作信號，根據所述操作信號觸發zookeeper中特定規則key和管理命令key的狀態變更。

5.根據權利要求4所述的方法，其特征在于，所述根據所述操作信號觸發zookeeper中特定規則key和管理命令key的狀態變更，具體包括：

根據所述操作信號觸發特定規則key，按照key對應的規則主鍵，重新拉取規則庫中的規則配置，并更新、刪除或棄用指定的規則定義；或

根據所述操作信號觸發管理命令key，重新加載全量和切換規則版本。

6.根據權利要求1所述的方法，其特征在于，所述根據所述處理規則的優先級，將所述消息報文匹配成功的處理規則生成一條完整的規則鏈，具體包括：

根據所述處理規則的優先級，將所述消息報文匹配成功的處理規則按照所述優先級由高到低的順序生成一條完整的規則鏈；

其中，在根據所述優先級進行處理的過程中，前面優先級高的處理規則對應的處理結果作為后面優先級低的處理規則的處理條件。

7.根據權利要求1所述的方法，其特征在于，所述處理機方法包括基于結構化數據的方法、表達式規則填充的方法和通過遠程過程調用RPC判斷的方法。

8.根據權利要求7所述的方法，其特征在于，所述基于結構化數據的方法具體包括：

根據處理機規則ID匹配出數據庫的查詢方法；

以所述消息報文的原始字段為條件，應用所述查詢方法，將得到的處理結果輸出到所述消息報文。

9.根據權利要求7所述的方法，其特征在于，所述表達式規則填充的方法具體包括：

根據所述消息報文匹配處理機中的表達式，根據所述表達式得出對應的處理結果。