[發明專利]流數據轉存處理方法、裝置及服務器

在審

• 申請號: 202110608014.1
• 申請日: 2021-06-01
• 公開（公告）號: CN113360498A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 李乾;孫志斌;冉丁;王勇
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455;G06F16/28
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李陽;劉芳

本發明實施例提供一種流數據轉存處理方法、裝置及服務器，該方法包括：接收分布式消息系統實時發送的流數據；將流數據寫入流數據所屬的主題對應的分組集合中，分組集合部署在內存數據庫中；分組集合中包括多個分組，每個分組具有一個分組號、且每個分組的最大可存儲量相同；流數據存各個分組中時，一個分組號的分組存滿后存入下一個分組號的分組；按照預設時間間隔，掃描流數據所屬主題對應的分組集合中的待轉存的分組；若待轉存的分組已達到最大可存儲量，則從內存數據庫中讀取待轉存的分組中的流數據，并轉存至關系型數據庫中。既能減少對關系型數據庫的訪問，且不會因為暫時的故障，導致流數據轉存失敗，保證了系統的穩定運行。

技術領域

本發明實施例涉及大數據技術領域，尤其涉及一種流數據轉存處理方法、裝置及服務器。

背景技術

隨著大數據的興起，流計算成為了一種常用的計算模式。流計算通常包括實時數據計算，和批處理方式相比，具有低時延、擅長窗口計算等優點；但是同時也有對計算機程序性能要求高、不容易實現多個流數據的關聯、重復執行代價較大等缺點。因此，為了同時利用批處理和流計算的優點，既要處理大容量的離線數據，同時也要快速處理實時數據，提出了Lambda和Kappa等流批合一框架。在流批合一框架中，需要將流計算的結果(即流數據)存儲到數據庫中。

當前，現有的流計算引擎中能夠提供微批計算模型的Storm Trident和Flink。但是這兩種方式都是通過將流數據切分成一個個微小的批次，然后被流計算引擎進行處理，微批處理后將流數據微批轉存至關系型數據庫中。但是這種微批模型對數據流進行微批轉存的模式，在一定程度上降低了對目標關系型數據庫的訪問，但是仍需要流計算引擎直接與關系型數據建立連接。當網絡故障或者流數據出現峰值時導致關系型數據轉存寫入故障，會使得流數據轉存失敗。

發明內容

本發明實施例提供一種流數據轉存處理方法、裝置及服務器，以克服現有技術中當網絡故障或者流數據出現峰值時導致關系型數據轉存寫入故障，會使得流數據轉存失敗的問題。

第一方面，本發明實施例提供一種流數據轉存處理方法，包括：

通過流計算引擎接收分布式消息系統實時發送的流數據；將所述流數據寫入所述流數據所屬的主題對應的分組集合中，其中所述分組集合部署在內存數據庫中；所述分組集合中包括多個分組，每個分組具有一個分組號、且每個分組的最大可存儲量相同；其中所述流數據存各個分組中時，一個分組號的分組存滿后存入下一個分組號的分組；

通過轉存程序按照預設時間間隔，掃描所述流數據所屬主題對應的分組集合中的待轉存的分組；若所述待轉存的分組已達到所述最大可存儲量，則從所述內存數據庫中讀取所述待轉存的分組中的流數據，并轉存至關系型數據庫中。

在一種可能的設計中，所述將所述流數據存儲在所述流數據所屬的主題對應的分組集合中，包括：

從所述內存數據庫獲取一個序列號，所述序列號中包含所述流數據所屬的主題信息；

根據所述序列號和所述流數據所屬的主題信息對應的主題分組的最大可存儲量，確定所述分組號；

根據所述分組號，將流數據存儲至所述分組號對應的分組中，直至所述分組存滿后，重新執行從所述內存數據庫獲取一個新的序列號的步驟，其中所述新的序列號是在所述序列號基礎上自動遞增更新的序列號。

在一種可能的設計中，所述通過轉存程序按照預設時間間隔，獲取所述流數據所屬主題對應的分組集合中的待轉存的分組；若所述待轉存的分組已達到所述最大可存儲量，則從所述內存數據庫中讀取所述待轉存的分組中的流數據，并轉存至關系型數據庫中，包括：

按照預設時間間隔，訪問所述流數據所屬主題對應的分組集合中的分組號被標記為待轉存的分組；

若所述待轉存的分組的存儲記錄數以達到最大可存儲量，則讀取所述待轉存的分組中的流數據，并轉存至關系型數據庫；