[發明專利]一種基于Kafka分布式消息處理方法及數據總線系統

在審

• 申請號: 202210116405.6
• 申請日: 2022-02-07
• 公開（公告）號: CN114553970A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 繆士宣
• 申請（專利權）人: 上海數依數據科技有限公司
• 主分類號: H04L69/06
• 分類號: H04L69/06;H04L69/00;H04L67/1095;H04L41/0631;G06F16/28;G06F16/21
• 代理公司: 蘇州尚為知識產權代理事務所(普通合伙) 32483
• 代理人: 陳鋼

1.一種基于Kafka分布式消息處理方法，包括消息發布訂閱及消息同步，其特征在于，

所述消息發布的步驟為：

S201：用戶創建Kafka消息主題，并定義消息主題的數據模型；

S202：消息生產者從數據模型倉庫獲取對應Kafka消息主題的數據模型最新版本，根據模型的數據結構組裝數據，序列化為字節序列，發布到Kafka代理者；

S203：Kafka消息消費者監聽對應的消息主題，并提交消費狀態到Kafka集群；所述消息同步的步驟為：

S301：創建消息主題同步任務；

S302：在一個服務中啟動任務監聽對應消息主題；

S303：當接收到新消息時，從數據模型倉庫獲取對應消息主題的數據模型，反序列化字節序列到數據模型并對數據進行映射、轉換處理；

S304：根據任務配置，將處理后的數據持久化到數據庫、對象存儲或者Elasticsearch中，并提交消費狀態到Kafka集群。

2.根據權利要求1所述的一種基于Kafka分布式消息處理方法，其特征在于，所述步驟S201中消息主題的數據模型默認是向后兼容的。

3.一種基于Kafka分布式消息數據總線系統，其特征在于，包括：

Kafka集群；

數據模型倉庫，用于管理Kafka消息主題的數據模型；

消息同步模塊，用于Kafka消息的落地；

監控模塊，用于采集各組件監控數據以及異常告警。

4.根據權利要求3中所述的一種基于Kafka分布式消息數據總線系統，其特征在于，所述的數據模型倉庫存儲Kafka消息主題的數據模型的版本歷史，同時提供多種兼容性設置。

5.根據權利要求3中所述的一種基于Kafka分布式消息數據總線系統，其特征在于，所述的消息同步模塊中設有數據庫同步器，對象存儲同步器、Elasticsearch同步器和API工具。

6.根據權利要求3中所述的一種基于Kafka分布式消息數據總線系統，其特征在于，所述的監控模塊中設有采集模塊、時序數據庫、告警模塊和圖形化顯示。

7.根據權利要求5中所述的一種基于Kafka分布式消息數據總線系統，其特征在于，所述API工具用于同步任務管理操作和提供監控數據，消息同步模塊根據同步任務配置啟動對應的同步器將Kafka消息落地到數據庫、對象存儲或者Elasticsearch中供所需系統使用。

8.根據權利要求6中所述的一種基于Kafka分布式消息數據總線系統，其特征在于，所述采集模塊每隔15秒采集一次Kafka集群中消息主題、生產者、消費者的狀態信息以及消息同步模塊同步任務的狀態信息并寫入時序數據庫；告警模塊根據配置的告警規則判斷采集數據是否需要發送告警；圖像化顯示用于圖像化展示所述時序數據庫中的數據。