[發明專利]一種基于磁盤隊列實現Kafka集群同步的方法及系統

在審

• 申請號: 201910631206.7
• 申請日: 2019-07-12
• 公開（公告）號: CN110347342A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 楊彬;季國慶;王城;胡軍擎;陳勇銓
• 申請（專利權）人: 上海英方軟件股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L29/08
• 代理公司: 上海國智知識產權代理事務所(普通合伙) 31274
• 代理人: 潘建玲

本發明公開了一種基于磁盤隊列實現Kafka集群同步的方法及系統，該方法包括：步驟S1，從源端kafka集群中根據指定主題完整消費每一條消息，并把消息寫入到源端本地磁盤隊列中；步驟S2，利用其他線程從所述源端本地磁盤隊列中逐條取出消息，并調用壓縮算法將消息壓縮后，將數據發送到網絡中；步驟S3，所述網絡另一側備端接收數據，將消息解壓還原后寫入備端本地磁盤隊列中；步驟S4，從所述備端本地磁盤隊列讀取消息寫入備端kafka集群中。

技術領域

本發明涉及Kafka集群技術領域，特別是涉及一種基于磁盤隊列實現Kafka集群同步的方法及系統。

背景技術

近年來，隨著互聯網行業的不斷發展，各種業務的數據量不斷增多，在大數據處理環境下，類似如股票交易、實時天氣預報、網絡運維監控、電商實時推薦等推動了storm、s4、sparkstreaming等實時計算框架的部署應用。這些應用對業務系統的水平擴展、數據可靠性要求越來越高，同時系統對實現異步通信，高吞吐率和數據實時性處理要求不斷提高，因此kafka的出現就理所當然了，目前，越來越多的開源分布式處理系統都支持與Kafka的集成。

Kafka是一種分布式消息隊列，用于發布和訂閱消息。Kafka根據主題和分區將數據復制到多個服務器。Kafka可以高效處理數據處理，通過批處理和壓縮記錄有效地使用IO。因此越來越多的系統采用kafka作為中間件，將各類數據匯聚到數據湖、大數據應用和實時流分析系統中。在建設多個大數據平臺時，實時同步kafka集群可以使多個大數據平臺的數據互通和匯聚數據。在此基礎上進行數據分析和可視化，為大數據決策提供完整的數據基礎。由于kafka集群同步傳輸介質可能是廣域網，在這種情況下，面對網絡帶寬的制約如何有效利用有限的帶寬成為了關注的問題，此外由于數據在各類應用場景中日益重要，如何保證數據傳輸過程中的完整性，和如何在網絡異常情況下保證數據傳輸的連續性都是值得關注的問題。目前，Kafka提供mirrormaker雖然可以實現kafka之間的同步，但是沒有考慮數據壓縮問題，而數據壓縮是提高網絡帶寬使用率的主要方法，因此實有必要提出一種技術手段，以解決上述問題。

發明內容

為克服上述現有技術存在的不足，本發明之目的在于提供一種基于磁盤隊列實現Kafka集群同步的方法及系統，以實現一種具有高性能、可壓縮、高可靠性、可擴展的kafka同步技術。

為達上述目的，本發明提出一種基于磁盤隊列實現Kafka集群同步的方法，包括如下步驟：

步驟S1，從源端kafka集群中根據指定主題完整消費每一條消息，并把消息寫入到源端本地磁盤隊列中；

步驟S2，利用其他線程從所述源端本地磁盤隊列中逐條取出消息，并調用壓縮算法將消息壓縮后，將數據發送到網絡中；

步驟S3，所述網絡另一側備端接收數據，將消息解壓還原后寫入備端本地磁盤隊列中；

步驟S4，從所述備端本地磁盤隊列讀取消息寫入備端kafka集群中。

優選地，于步驟S1中，源端消費者通過所述源端kafka集群提供的生產者應用程序接口，逐條將完整的消息從所述源端kafka集群上消費到本地，將消息逐條寫入預先生成的所述源端本地磁盤隊列中。

優選地，于步驟S1中將各條消息編寫序號逐條寫入預先生成的所述源端本地磁盤隊列中。

優選地，于步驟S4中，備端生產者從所述備端本地磁盤隊列中讀取消息寫入所述備端kafka集群中。

優選地，所述方法還包括如下步驟：

當網絡出現異常時，源端根據其網絡異常前發送的消息的序號，于所述源端本地磁盤隊列中獲得下一條消息，將該序號后的消息重新發送給所述備端，實現斷點續傳。

優選地，所述方法還包括如下步驟：