[發明專利]一種基于Flink實時計算的自動化流控制方法

在審

• 申請號: 202011594886.9
• 申請日: 2020-12-29
• 公開（公告）號: CN112596997A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 陳思恩
• 申請（專利權）人: 科技谷（廈門）信息技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/18
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶;鄧貴琴

1.一種基于Flink實時計算的自動化流控制方法，其特征在于，包括以下步驟：

S1、對業務系統的日志數據進行實時采集；

S2、利用Kafka隊列對采集的日志數據進行傳輸，其中不同的業務日志數據作為一個單獨的topic數據流；

S3、使用Flink的各種算子組合對數據流進行實時解析和對數據流解析進行實時控制；

S4、將解析出的數據流進行存儲。

2.如權利要求1所述的一種基于Flink實時計算的自動化流控制方法，其特征在于：步驟S1中采用Filebeat采集工具，所述Filebeat采集工具包括Apache模塊、System模塊及MySQL模塊。

3.如權利要求1所述的一種基于Flink實時計算的自動化流控制方法，其特征在于：步驟S2中Kafka隊列還包括一用于進行流控制的空流。

4.如權利要求1所述的一種基于Flink實時計算的自動化流控制方法，其特征在于，步驟S3中數據流解析的步驟包括：

A1、將每個要處理的數據流的名稱通過哈希圖譜進行存儲，假設＜主鍵，數值＞＝＜stream1，datastream1＞，同時將需要對數據流處理的算子存儲到鏈表中；

A2、按照對datastream1的流處理算子得到流處理結果dataset1；

A3、更新哈希圖譜中stream1的數值為dataset1；

A4、遍歷下一個需要處理的算子，直接讀取主鍵＝stream1的數值，對stream1的數值執行相應的解析邏輯得到數據集dataset2；

A5、更新stream1的數值為dataset2；

A6、依次迭代對數據流處理的各個算子，直到完成所有的解析邏輯，最后結果依然保存在stream1中。

5.如權利要求1所述的一種基于Flink實時計算的自動化流控制方法，其特征在于，步驟S3中數據流控制的步驟包括：

B1、假設需要解析的數據流為dataA，在需要解析的數據流中增加一個空的數據流temp，該數據流開始時不存儲任何數據，同時增加一個內部類的變量用來存儲解析的解析算子γ；

B2、在實時的代碼解析邏輯中，增加一個對temp數據流的解析；

B3、在需要更新解析邏輯時，通過注入的方式將最新的解析邏輯注入到temp數據流中；

B4、通過解析temp數據流中的數據，獲取針對當前數據流的解析邏輯，并更新為解析算子γ的值；

B5、再次解析數據流dataA的時候，就會使用最新的解析邏輯來處理數據，從而實現解析邏輯的實時控制。

6.如權利要求4所述的一種基于Flink實時計算的自動化流控制方法，其特征在于：所述解析算子γ的配置成員包括系統配置類、數據源類、業務邏輯算子類、配置輸出類及監控配置類。

7.如權利要求1所述的一種基于Flink實時計算的自動化流控制方法，其特征在于：步驟S4中的存儲渠道包括hdfs、hive、clickhouse及opentsdb。