[發明專利]一種基于Flink的實時計算方法及系統

有效

• 申請號: 202010197103.7
• 申請日: 2020-03-19
• 公開（公告）號: CN111382150B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 陳崢豪;毛冰沁;韋良
• 申請（專利權）人: 交通銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2455;G06F16/27;G06F9/54;G06Q20/40;G06Q40/04
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 丁云

本發明涉及一種基于Flink的實時計算方法及系統，該方法包括如下步驟：(1)實時數據的獲?。韩@取用于計算的數據源至接入層，觸發實時計算；(2)實時數據的清洗和分析處理：采用實時流計算引擎Flink對獲取的數據源進行實時的數據清洗和計算，聚合計算結果；(3)實時計算結果持久化：對計算結果進行持久化并完成數據分發。與現有技術相比，本發明方法及系統能夠建立高吞吐量、低延遲、高性能的實時計算，滿足對業務數據改變的實時地監控和響應，為實時采集客戶行為、實時營銷計算、實時風險監測等不同場景提供有效服務。

技術領域

本發明涉及一種實時計算方法及系統，尤其是涉及一種基于Flink的實時計算方法及系統。

背景技術

面向服務的架構(SOA)將企業內部拆分為不同的獨立系統，每個系統分別使用各自獨立的數據庫，這種模式解決了業務系統擴展的問題，但是業務交易數據過于分散在不同的系統中，很難將數據進行集中化管理，對于企業內部進行數據分析或者數據挖掘之類的應用，則需要從不同數據庫中進行數據抽取，將數據從數據庫中周期性地同步到數據倉庫中，然后在數據倉庫中進行數據的抽取、轉換、加載(ETL)，從而構建成不同的數據集市和應用，提供給業務系統使用。

大數據技術的興起讓企業能夠更加靈活高效地使用自己的業務數據，從數據中抽取出更多重要的價值，并將數據分析和挖掘出來的結果應用在企業的抉擇、營銷、管理等應用領域。但是對于一些時間要求比較高的應用，例如實時預警、實時報表統計，則對實時計算提出了較高的要求。

現有實時計算，在實時預警應用中通過定時掃描范圍時間內變化的數據，結合行內客戶、客戶經理信息，推送大額動等賬信息到客戶經理。實時預警應用單機運行，吞吐量較小，有一定壓力。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于Flink的實時計算方法及系統。

本發明的目的可以通過以下技術方案來實現：

一種基于Flink的實時計算方法，該方法包括如下步驟：

(1)實時數據的獲?。韩@取用于計算的數據源至接入層，觸發實時計算；

(2)實時數據的清洗和分析處理：采用實時流計算引擎Flink對獲取的數據源進行實時的數據清洗和計算，聚合計算結果；

(3)實時計算結果持久化：對計算結果進行持久化并完成數據分發。

步驟(1)實時數據的獲取包括兩種方式：

一、通過數據準實時復制工具和數據交換平臺從各源系統獲取數據源，進行數據持久化落地到實時明細數據層，再采用微批量的方式從持久層取出實時數據放入接入層；

二、通過KAFKA消息隊列的方式獲取數據源至接入層的KAFKA消息隊列中。

步驟(3)計算結果首先會存入統一的實時匯總數據層進行持久化，實時匯總數據層落地到Hadoop的Hbase上，然后再按不同的應用場景進行數據分發。

按不同的應用場景進行數據分發具體包括：

(a)計算結果數據集與原生數據相比沒有數量級上的變化且需要提供實時查詢，則該計算結果數據集保存到HBASE并向外提供數據服務；

(b)計算結果數據集與原生數據相比在數量上有明顯的增大且有準實時數據要求，則把計算結果數據集保存到Hadoop上的HDFS上，再通過Hadoop的離線計算與其他非埋點數據進行關聯，最后提供數據服務；

(c)計算結果數據集與原生數據相比在數量上有明顯的減少，則將計算結果數據集寫入關系型數據庫中，然后提供數據服務；