[發明專利]基于消息隊列實現的高可用時序數據庫集群系統

有效

• 申請號: 202110796937.4
• 申請日: 2021-07-14
• 公開（公告）號: CN113282604B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 李曉波
• 申請（專利權）人: 北京遠舢智能科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2457;G06F16/2455;G06F16/27;G06F11/14;G06F9/50;G06F9/54
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 李傳亮

本申請涉及一種基于消息隊列實現的高可用時序數據庫集群系統，屬于數據庫技術領域，其包括消息隊列集群、連接器模塊和時序數據庫集群；連接器模塊包括多個數據庫連接器，每個數據庫連接器均與消息隊列集群連接；時序數據庫集群包括與多個數據庫連接器一一對應連接的多個時序數據庫節點；消息隊列集群用于接收并緩存數據生產者的時序數據；多個數據庫連接器用于從消息隊列集群中讀取時序數據，并基于多個線程向多個時序數據庫節點并行寫入時序數據；發送寫入失敗信息的數據庫連接器用于間隔第一預設時間向寫入失敗信息對應的時序數據庫節點繼續寫入時序數據。本申請能滿足時序數據庫的高頻并發寫入和高水平橫向集群化擴展能力。

技術領域

本申請涉及數據庫技術領域，尤其是涉及一種基于消息隊列實現的高可用時序數據庫集群系統。

背景技術

時序數據主要由電力行業、化工行業等各類型實時監測、檢查與分析設備所采集、產生的數據。由于時序數據具有產生效率快、嚴重依賴于采集時間、測點多信息量大等特點，因此，需要一種能夠對海量時序數據進行高效存儲與快速處理的數據庫系統，時序數據庫應運而生。

專利公開號為CN111752758A的中國專利文獻公開了一種雙主架構的influxDB高可用系統，該系統利用訪問模塊將用戶的寫請求同時交給兩個influxDB節點來保證數據庫節點實時一致，采用交替發送讀請求以實現負載均衡，提升查詢性能，并利用監控容災模塊監控后端influxDB節點的可用狀態，并向訪問模塊提供狀態查詢接口，當發現數據庫存在延遲時自動將數據進行補齊。

但是，該系統采用交替發送寫入請求給兩個influxdb節點的方式并不適合高頻并發寫入的場景，數據寫入模塊可能成為系統瓶頸，同時如果兩個主機節點均發生故障，新采集數據將永久丟失，該架構也不太具備水平橫向集群化擴展的能力。

發明內容

為了滿足時序數據庫的高頻并發寫入和高水平橫向集群化擴展能力，本申請提供一種基于消息隊列實現的高可用時序數據庫集群系統。

本申請提供的一種基于消息隊列實現的高可用時序數據庫集群系統，采用如下的技術方案：

一種基于消息隊列實現的高可用時序數據庫集群系統，包括消息隊列集群、連接器模塊和時序數據庫集群；所述連接器模塊包括多個數據庫連接器，每個數據庫連接器均與所述消息隊列集群連接；所述時序數據庫集群包括與所述多個數據庫連接器一一對應連接的多個時序數據庫節點；

所述消息隊列集群用于接收并緩存數據生產者的時序數據；

所述多個數據庫連接器用于從所述消息隊列集群中讀取所述時序數據，并基于多個線程向所述多個時序數據庫節點并行寫入所述時序數據；

發送寫入失敗信息的數據庫連接器用于間隔第一預設時間向所述寫入失敗信息對應的時序數據庫節點繼續寫入所述時序數據。

通過采用上述技術方案，引入消息隊列集群用來緩存數據生產者發送的大量時序數據，即使在時序數據庫集群中所有節點全部離線時，時序數據依然不會丟失，并且數據庫多備份的方式可以提供快速水平橫向擴展和容錯處理；數據庫連接器用于連接消息隊列集群與時序數據庫集群，在數據庫連接器與時序數據庫節點連接中斷后可以無限次的重新連接，并且可以開啟多個線程并行傳輸時序數據，滿足高頻并發寫入的同時又不會因為大量的查詢導致數據庫故障而引發數據丟失。

可選的，所述數據庫連接器包括：

偏移點更新模塊，用于在向對應的時序數據庫節點寫入所述時序數據時實時更新讀取所述時序數據的偏移點，并在所述對應的時序數據庫節點離線時停止更新讀取所述時序數據的偏移點；

斷點續傳模塊，用于在所述對應的時序數據庫節點重新上線時，基于所述對應的時序數據庫節點離線時讀取的所述時序數據的偏移點繼續讀取所述時序數據并寫入所述對應的時序數據庫節點。