[發(fā)明專利]一種Kafka集群間數(shù)據傳輸方法及相關設備

在審

• 申請?zhí)枺?/td>: 202210652624.6
• 申請日: 2022-06-07
• 公開（公告）號: CN115022325A
• 公開（公告）日: 2022-09-06
• 發(fā)明（設計）人: 羅偉東;朱軍
• 申請（專利權）人: 深圳市和訊華谷信息技術有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L69/16;H04L9/40
• 代理公司: 廣東普羅米修律師事務所 44615
• 代理人: 黃利平

本申請?zhí)峁┝艘环NKafka集群間數(shù)據傳輸方法，應用于第一Kafka集群，包括：第一Kafka集群基于虛擬IP傳輸?shù)谝粩?shù)據至第一Nginx服務器，以使得第一Nginx服務器基于安全套接字協(xié)議將第一數(shù)據傳輸至第二Nginx服務器，由第二Nginx服務器傳輸?shù)谝粩?shù)據至第二Kafka集群；基于本方案可知，本申請所提供的Kafka集群間數(shù)據傳輸方法通過使用Nginx進行傳輸，利用了Nginx服務器高可用性的特點，從而降低了傳輸鏈路中所需設置的中介服務器的數(shù)量，進而降低了數(shù)據傳輸成本，同時公網傳輸過程通過Nginx ssl加密，保證了數(shù)據傳輸?shù)陌踩裕岣吡薑afka集群間數(shù)據傳輸過程的可實施性。并且數(shù)據傳輸鏈路變得簡潔，數(shù)據延遲風險問題得以解決。

技術領域

本申請屬于互聯(lián)網技術領域，尤其涉及一種Kafka集群間數(shù)據傳輸方法、系統(tǒng)及設備。

背景技術

Kafka是一個開源流處理平臺。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在網站中的所有動作流數(shù)據。這種動作(網頁瀏覽，搜索和其他用戶的行動)是在現(xiàn)代網絡上的許多社會功能的一個關鍵因素。這些數(shù)據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。Kafka的目的是通過Hadoop的并行加載機制來統(tǒng)一線上和離線的消息處理，也是為了通過集群來提供實時的消息。

對于不同的企業(yè)，為處理企業(yè)內部的數(shù)據，通常具有架設于企業(yè)內網的Kafka平臺，然而隨著業(yè)務需要，Kafka內的信息往往需要與不同企業(yè)的Kafka平臺進行同步，此時為了數(shù)據傳輸?shù)陌踩钥紤]，往往需要額外設置一個具有公網IP的Kafka集群作為中轉，才能將數(shù)據將數(shù)據由一個企業(yè)的內網Kafka平臺傳輸?shù)搅硪粋€企業(yè)的內網Kafka平臺。

這一過程成Kafka跨機房傳輸方案主要問題在于數(shù)據傳輸鏈路長，增加網絡延遲風險，并且傳輸需要額外搭建Kafka trans集群，集群機器數(shù)量過多，導致成本過高。

發(fā)明內容

本申請實施例第一方面提供了一種Kafka集群間數(shù)據傳輸方法，其特征在于，所述方法應用于第一Kafka集群，包括：

所述第一Kafka集群基于虛擬IP傳輸?shù)谝粩?shù)據至第一Nginx服務器，以使得所述第一Nginx服務器基于安全套接字協(xié)議將所述第一數(shù)據傳輸至第二Nginx服務器，由所述第二Nginx服務器傳輸所述第一數(shù)據至第二Kafka集群；

所述第一Kafka集群和所述第一Nginx服務器設置于第一內網，所述第二Kafka集群和所述第二Nginx服務器設置于第二內網，所述第一內網與所述第二內網為不同內網，所述第一Nginx服務器和所述第二Nginx服務器分別具有外網IP。

基于本申請實施例第一方面所提供的Kafka集群間數(shù)據傳輸方法，可選的，所述第一Kafka集群基于虛擬IP傳輸?shù)谝粩?shù)據至第一Nginx服務器，包括：

所述第一Kafka集群傳輸所述第一數(shù)據至Kafka Mirror服務，以使得所述KafkaMirror服務傳輸所述第一數(shù)據至第一Nginx服務器。

基于本申請實施例第一方面所提供的Kafka集群間數(shù)據傳輸方法，可選的，所述第一Nginx服務器和所述第二Nginx服務器均處于雙活模式。

本申請實施例第二方面提供了一種Kafka集群間數(shù)據傳輸方法，所述方法應用于第一Nginx服務器，包括：

所述第一Nginx服務器接收第一數(shù)據，所述第一數(shù)據為第一Kafka集群基于虛擬IP傳輸至所述第一Nginx服務器；

所述第一Nginx服務器基于安全套接字協(xié)議發(fā)送所述第一數(shù)據至第二Nginx服務器，以使得所述第二Nginx服務器傳輸所述第一數(shù)據至第二Kafka集群；