[發明專利]Kafka同步刷盤方法、裝置及消息服務器

在審

• 申請號: 202011022113.3
• 申請日: 2020-09-25
• 公開（公告）號: CN112084048A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 左永平
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊;劉飛

本申請實施例提供一種Kafka同步刷盤方法、裝置及消息服務器，方法包括：在針對目標磁盤的刷盤前置條件檢查通過后執行Kafka消息中間件的刷盤步驟：更新當前的目標時刻，向截止至目標時刻確定的多個消息寫入線程發出刷盤權力爭奪指令，將其中爭奪到刷盤權力的一個消息寫入線程確定為刷盤線程，并將內存中截止至目標時刻獲取的全部消息對象均刷新至目標磁盤；向當前所有處于等待狀態中的消息寫入線程分別發送刷盤完成通知，以針對在目標時刻之后新增的消息寫入線程再次執行Kafka消息中間件的刷盤步驟。本申請能夠有效避免數據丟失情形的發生，能夠有效提高響應速度，并能夠有效提高Kafka消息中間件在同步刷盤模式下的吞吐量。

技術領域

本申請涉及數據處理技術領域，具體涉及Kafka同步刷盤方法、裝置及消息服務器。

背景技術

隨著分布式、微服務、流計算、大數據在IT行業的廣泛應用，消息中間件以其能夠降低系統耦合度、高可用、高性能、易擴展、易維護、支持實時處理等優勢成為必備中間件。其中，高吞吐量的分布式發布訂閱消息系統Kafka(Apache Kafka)以其開源、穩定、高效和流計算的優勢，逐漸成為業界流行的消息中間件產品。但是，Kafka最初作為互聯網公司開源出來的產品，在金融、電信等對消息吞吐量大、消息可靠性要求高的場景，也顯露出它的一些不足。

為提高Kafka消息中間件的吞吐量，Kafka消息中間件的大部分用戶會采用異步刷盤模式或同步模式下的批量匯總模式，然而，這兩種方式無法同時解決數據易丟失以及易出現響應不及時的問題，因此無法進一步提高Kafka消息中間件在同步刷盤模式下的吞吐量。

發明內容

針對現有技術中的問題，本申請提供一種Kafka同步刷盤方法、裝置及消息服務器，能夠有效避免數據丟失情形的發生，能夠有效提高響應速度，客戶端調用能夠獲得更少的延時，并能夠有效提高Kafka消息中間件在同步刷盤模式下的吞吐量，進而能夠有效提高Kafka消息中間件的運行效率及可靠性。

為解決上述技術問題，本申請提供以下技術方案：

第一方面，本申請提供一種Kafka同步刷盤方法，包括：

在針對目標磁盤的刷盤前置條件檢查通過后執行預設的Kafka消息中間件的刷盤步驟；

其中，所述Kafka消息中間件的刷盤步驟包括：更新當前的目標時刻，向截止至所述目標時刻確定的多個消息寫入線程發出刷盤權力爭奪指令，將其中爭奪到刷盤權力的一個消息寫入線程確定為刷盤線程，并應用該刷盤線程將Kafka內存中截止至所述目標時刻獲取的全部消息對象均刷新至所述目標磁盤；

應用所述刷盤線程向當前所有處于等待狀態中的消息寫入線程分別發送刷盤完成通知，以針對在所述目標時刻之后新增的消息寫入線程再次執行所述Kafka消息中間件的刷盤步驟。

進一步地，所述應用所述刷盤線程向當前所有處于等待狀態中的消息寫入線程分別發送刷盤完成通知，以針對在所述目標時刻之后新增的消息寫入線程再次執行所述Kafka消息中間件的刷盤步驟，包括：

應用所述刷盤線程向當前所有處于等待狀態中的消息寫入線程分別發送刷盤完成通知；

應用接收到所述刷盤完成通知的各個所述消息寫入線程分別檢測各自對應的消息對象是否已刷新至所述目標磁盤；

若存在檢測到自身對應的消息對象未刷新至所述目標磁盤的消息寫入線程，則將該消息寫入線程確定為在所述目標時刻之后新增的消息寫入線程；

針對在所述目標時刻之后新增的各個消息寫入線程再次執行所述Kafka消息中間件的刷盤步驟。

進一步地，還包括：

判斷當前處于等待狀態中的各個所述消息寫入線程是否均在預設的等待時間內收到所述刷盤線程發送的刷盤完成通知；