[發明專利]流數據轉存處理方法、裝置及服務器

在審

• 申請號: 202110608014.1
• 申請日: 2021-06-01
• 公開（公告）號: CN113360498A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 李乾;孫志斌;冉丁;王勇
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455;G06F16/28
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李陽;劉芳

1.一種流數據轉存處理方法，其特征在于，包括：

通過流計算引擎接收分布式消息系統實時發送的流數據；將所述流數據寫入所述流數據所屬的主題對應的分組集合中，其中所述分組集合部署在內存數據庫中；所述分組集合中包括多個分組，每個分組具有一個分組號、且每個分組的最大可存儲量相同；其中所述流數據存各個分組中時，一個分組號的分組存滿后存入下一個分組號的分組；

通過轉存程序按照預設時間間隔，掃描所述流數據所屬主題對應的分組集合中的待轉存的分組；若所述待轉存的分組已達到所述最大可存儲量，則從所述內存數據庫中讀取所述待轉存的分組中的流數據，并轉存至關系型數據庫中。

2.根據權利要求1所述的方法，其特征在于，所述將所述流數據存儲在所述流數據所屬的主題對應的分組集合中，包括：

從所述內存數據庫獲取一個序列號，所述序列號中包含所述流數據所屬的主題信息；

根據所述序列號和所述流數據所屬的主題信息對應的主題分組的最大可存儲量，確定所述分組號；

根據所述分組號，將流數據存儲至所述分組號對應的分組中，直至所述分組存滿后，重新執行從所述內存數據庫獲取一個新的序列號的步驟，其中所述新的序列號是在所述序列號基礎上自動遞增更新的序列號。

3.根據權利要求1所述的方法，其特征在于，所述通過轉存程序按照預設時間間隔，獲取所述流數據所屬主題對應的分組集合中的待轉存的分組；若所述待轉存的分組已達到所述最大可存儲量，則從所述內存數據庫中讀取所述待轉存的分組中的流數據，并轉存至關系型數據庫中，包括：

按照預設時間間隔，訪問所述流數據所屬主題對應的分組集合中的分組號被標記為待轉存的分組；

若所述待轉存的分組的存儲記錄數以達到最大可存儲量，則讀取所述待轉存的分組中的流數據，并轉存至關系型數據庫；

將所述待轉存的分組的分組號遞增為下一個分組的分組號，并將下一個分組的分組號標記為待轉存分組的分組，并重復執行確定所述流數據所屬主題對應的分組集合中的分組號被標記為待轉存分組的分組，為所述待轉存的分組的步驟。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述轉存程序部署在集群中，所述方法還包括：

從所述內存數據庫中獲取所述待轉存的分組所屬主題的分布式鎖；

若所述分布式鎖獲取成功，則從所述內存數據庫獲取當前日期的待轉存的分組；

判斷所述待轉存的分組的分組號是否為空；

若為空，則獲取所述當前日期的第一個分組的記錄數；

若所述分組的記錄數大于0，則獲取當前日期的前一日期的待轉存的分組；

若所述當前日期的前一日期的待轉存的分組的記錄數不為0，則將當前日期的前一日期的待轉存的分組的流數據轉存至關系型數據庫；

刪除內存數據庫中當前日期的前一日期的所有待轉存的分組的流數據；

將從內存數據庫中獲取的當前日期的待轉存的分組的分組號設置為0；

刪除所述獲取的所述待轉存的分組所屬主題的分布式鎖。

5.根據權利要求4所述的方法，其特征在于，所述判斷所述待轉存的分組的分組號是否為空之后，所述方法還包括：

若不為空，則記錄待轉存的分組的分組號為初始分組號；

從所述內存數據庫中獲取所述初始分組號對應的分組的記錄數；

判斷記錄數是否達到最大可存儲量；

若達到，則將對應的待轉存的分組轉存至關系型數據庫；并從所述內存數據庫中刪除所述待轉存的分組的流數據，并將所述初始分組號遞增1，并重復執行從所述內存數據庫中獲取所述初始分組號對應的分組的記錄數的步驟，直至確定待轉存的分組的的記錄數小于最大可存儲量。