[發明專利]一種基于flink和規則表達式的數據處理方法、裝置及設備

有效

• 申請號: 202310064279.9
• 申請日: 2023-02-06
• 公開（公告）號: CN115794445B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 甄天劍;鄧小寧;金洪殿;李策;劉闖;劉暢
• 申請（專利權）人: 北方健康醫療大數據科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/2457;G06F16/25
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 梁軍麗

本發明公開了一種基于flink和規則表達式的數據處理方法、裝置及設備，該方法包括：通過規則表達式語言jexl規則配置器配置處理規則，將處理規則固化到規則庫；當消息處理引擎啟動時，通過規則緩存管理器將規則庫加載到消息處理引擎的內存中，消息處理引擎在flink流式處理框架提供的基礎運行環境中運行；將從數據源獲取的消息報文與內存中的處理規則進行匹配；若確定有匹配成功的處理規則，則根據處理規則的優先級，將消息報文匹配成功的處理規則生成一條完整的規則鏈；確定規則鏈中每一條處理規則對應的處理機方法；確定處理機方法對應的處理步驟，根據處理步驟對報文進行處理；將處理后的消息報文傳輸至外部系統。

技術領域

本發明涉及數據處理領域，尤其涉及一種基于flink和規則表達式的數據處理方法、裝置及設備。

背景技術

在應用程序編程接口（Application?Programming?Interface，API）網關注冊的API接口的調用/計費信息，需要根據其調用請求/調用返回，并結合API提供者所定義的計費規則/例外規則進行單次掉用的計費邏輯判斷，由于API的請求和返回，以及不同API提供者的計費規則/例外規則不盡相同，因此判斷邏輯往往需要持續開發，導致支撐規則庫的代碼過于龐大，工程的管理和代碼的迭代存在風險。

發明內容

本發明提供了一種基于flink和規則表達式的數據處理方法、裝置及設備，解決了如何高效管理、適配API計費規則的技術問題。

一種基于flink和規則表達式的數據處理方法，包括：

通過規則表達式語言jexl規則配置器配置處理規則，將所述處理規則固化到規則庫；

當消息處理引擎啟動時，通過規則緩存管理器將所述規則庫加載到所述消息處理引擎的內存中，所述消息處理引擎在flink流式處理框架提供的基礎運行環境中運行；

將從數據源獲取的消息報文與所述內存中的處理規則進行匹配；

若確定有匹配成功的處理規則，則根據所述處理規則的優先級，將所述消息報文匹配成功的處理規則生成一條完整的規則鏈；

確定所述規則鏈中每一條處理規則對應的處理機方法；

確定所述處理機方法對應的處理步驟，根據所述處理步驟對所述報文進行處理；

將處理后的消息報文傳輸至外部系統。

在本發明的一種實施例中，所述通過規則表達式語言jexl規則配置器配置處理規則，將所述處理規則固化到規則庫，具體包括：通過表達式語言jexl規則配置器對處理規則進行可視化配置或后臺配置；根據樣例報文對配置的所述處理規則進行校驗；將通過校驗后的處理規則固化到規則庫中。

在本發明的一種實施例中，在根據樣例報文對配置的所述處理規則進行校驗后，所述方法還包括：根據通過校驗后的處理規則生成處理規則通知；根據所述處理規則通知生成操作信號，將所述操作信號傳輸到動物園管理員zookeeper。

在本發明的一種實施例中，所述zookeeper中定義有多個鍵key，每個key對應不同規則或不同的管理命令；zookeeper接收來自jexl規則配置器的操作信號，根據所述操作信號觸發zookeeper中特定規則key和管理命令key的狀態變更。

在本發明的一種實施例中，在通過規則緩存管理器將所述規則庫加載到所述消息處理引擎的內存中之后，所述方法還包括：循環監聽zookeeper；當監聽到所述zookeeper中特定規則key和管理命令key的狀態變更時，熱更新所述消息處理引擎的jexl規則匹配器；重新監聽所述zookeeper中的特定規則key和管理命令key的狀態。