[發明專利]一種基于動態規則的多數據源分析方法

在審

• 申請號: 202110461672.2
• 申請日: 2021-04-27
• 公開（公告）號: CN113157313A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 吳朝亮;劉劍群;劉驍睿;馬頌華;劉奇;彭大祥;王佳偉
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: G06F8/71
• 分類號: G06F8/71
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及互聯網數據流處理技術領域，公開了一種基于動態規則的多數據源分析方法。本發明提供一種對不同數據源進行動態化的解析處理方法。可以支持多種數據源進行差異化的解析，使用本方法后，可以在不修改流處理的功能代碼來動態的調整配置規則，支持針對不同數據源進行相應的規則配置。最重要的是幾乎可以達到及時和無損。

技術領域

本發明涉及互聯網數據流處理技術領域，特別涉及一種基于動態規則的多數據源分析方法。

背景技術

隨著近年來企業信息化的日臻成熟、社會化網絡的興起，以及云計算、移動互聯網和物聯網等新一代信息技術的廣泛應用，全球數據的增長速度之快前所未有、數據的類型也變得越來越多。因此我們會將不同的數據匯聚起來進行解析，但每個數據解析的方式不一樣，并且會因為數據的格式進行動態的調整。目前的處理過程中數據解析規則會作為內置配置集成到流處理引擎，即使調整也會犧牲性能或者有數據損失。

發明內容

本發明要解決的技術問題是克服現有技術的缺陷，提供一種基于動態規則的多數據源分析方法，本發明提供一種對不同數據源進行動態化的解析處理方法。可以支持多種數據源進行差異化的解析，使用本方法后，可以在不修改流處理的功能代碼來動態的調整配置規則，支持針對不同數據源進行相應的規則配置。最重要的是幾乎可以達到及時和無損。

為了解決上述技術問題，本發明提供了如下的技術方案：

本發明提供一種基于動態規則的多數據源分析方法，包括以下步驟：

(1)在運營平臺上進行解析規則的管理，針對某數據源配置解析規則，可以是多條；流處理引擎將會對相應的數據源依次解析，成功就停止；

(2)將規則配置轉換為配置流發送給流引擎，如：kafka；

(3)將配置流發送給流引擎，流處理引擎會持續的接收配置流，當有配置操作就發送配置流數據到流處理引擎中，可以實現及時的更新。收到配置后需要廣播給其他流處理引擎，同步應用該配置；

(4)將數據發送到流處理引擎，會將數據跟與其數據源關聯的規則配置進行組裝，然后根據規則配置對數據進行解析，如果解析成功則直接輸出相應的數據格式到下游，如果全解析失敗，則標記該數據為錯誤，也發送到下游；

(5)其他數據源發來的數據處理流程等同于步驟(4)。

與現有技術相比，本發明的有益效果如下：

1.在現有的流處理引擎中，使用本方法后，可以在不修改流處理的功能代碼來動態的調整配置規則；

2.支持針對不同數據源進行相應的規則配置。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例一起用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1是本發明的流程示意圖。

具體實施方式

以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用于說明和解釋本發明，并不用于限定本發明。

實施例1

本發明如圖1所示，本發明提供一種基于動態規則的多數據源分析方法，包括以下步驟：

(1)在運營平臺上進行解析規則的管理，針對某數據源配置解析規則，可以是多條；流處理引擎將會對相應的數據源依次解析，成功就停止；

(2)將規則配置轉換為配置流發送給流引擎，如：kafka；

(3)將配置流發送給流引擎，流處理引擎會持續的接收配置流，當有配置操作就發送配置流數據到流處理引擎中，可以實現及時的更新。收到配置后需要廣播給其他流處理引擎，同步應用該配置；