[發明專利]基于消息隊列實現的高可用時序數據庫集群系統

有效

• 申請號: 202110796937.4
• 申請日: 2021-07-14
• 公開（公告）號: CN113282604B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 李曉波
• 申請（專利權）人: 北京遠舢智能科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2457;G06F16/2455;G06F16/27;G06F11/14;G06F9/50;G06F9/54
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 李傳亮

1.一種基于消息隊列實現的高可用時序數據庫集群系統，其特征在于，包括消息隊列集群（100）、連接器模塊（200）和時序數據庫集群（300）；所述連接器模塊（200）包括多個數據庫連接器，每個數據庫連接器均與所述消息隊列集群（100）連接；所述時序數據庫集群（300）包括與所述多個數據庫連接器一一對應連接的多個時序數據庫節點；

所述消息隊列集群（100）用于接收并緩存數據生產者（600）的時序數據；

所述多個數據庫連接器用于從所述消息隊列集群（100）中讀取所述時序數據，并基于多個線程向所述多個時序數據庫節點并行寫入所述時序數據；

發送寫入失敗信息的數據庫連接器用于間隔第一預設時間向所述寫入失敗信息對應的時序數據庫節點繼續寫入所述時序數據；

還包括監控容災模塊（400），每個數據庫連接器以及每個時序數據庫節點均與所述監控容災模塊（400）連接；

所述監控容災模塊（400）包括第一節點移除模塊（410），所述第一節點移除模塊（410）用于接收所述數據庫連接器發送的寫入失敗信息，并從當前可用節點列表中移除所述寫入失敗信息對應的時序數據庫節點；

所述監控容災模塊（400）還包括：

狀態檢測模塊（420），用于間隔第二預設時間檢測各時序數據庫節點的狀態是否為可用，若是則轉入一致性檢測模塊（430），否則轉入第二節點移除模塊（450）；

所述一致性檢測模塊（430），用于檢測當前時序數據庫節點與其他時序數據庫節點的偏移點是否一致，若當前時序數據庫節點的偏移點為最新偏移點，則轉入節點增加模塊（440），若當前時序數據庫節點的偏移點落后于其他時序數據庫節點的偏移點，則間隔第三預設時間重新檢測當前時序數據庫節點與其他時序數據庫節點的偏移點是否一致；

所述節點增加模塊（440），用于將當前時序數據庫節點加入所述當前可用節點列表；

所述第二節點移除模塊（450）用于從所述當前可用節點列表中移除當前時序數據庫節點。

2.根據權利要求1所述的系統，其特征在于，所述數據庫連接器包括：

偏移點更新模塊，用于在向對應的時序數據庫節點寫入所述時序數據時實時更新讀取所述時序數據的偏移點，并在所述對應的時序數據庫節點離線時停止更新讀取所述時序數據的偏移點；

斷點續傳模塊，用于在所述對應的時序數據庫節點重新上線時，基于所述對應的時序數據庫節點離線時讀取的所述時序數據的偏移點繼續讀取所述時序數據并寫入所述對應的時序數據庫節點。

3.根據權利要求1所述的系統，其特征在于，還包括負載均衡集群（500）；所述負載均衡集群（500）包括：

列表獲取模塊（510），用于響應于數據消費者（700）發送的訪問請求，從所述監控容災模塊（400）中獲取所述當前可用節點列表；

負載均衡模塊（520），用于采用負載均衡算法從所述當前可用節點列表中選取負載壓力最小的可用時序數據庫節點作為最優時序數據庫節點；

請求轉發模塊（530），用于向所述最優時序數據庫節點轉發所述訪問請求；

數據轉發模塊（540），用于向所述數據消費者（700）轉發所述最優時序數據庫節點返回的時序數據。

4.根據權利要求3所述的系統，其特征在于，所述負載均衡模塊（520）包括：

權重比獲取模塊，用于獲取預先設置的讀寫權重比以及所述當前可用節點列表中各可用時序數據庫節點之間的節點權重比；

查詢模塊，用于查詢所述各可用時序數據庫節點的寫入客戶端數量和讀取客戶端數量；

計算模塊，用于基于所述讀寫權重比、所述節點權重比、所述寫入客戶端數量和所述讀取客戶端數量計算所述各可用時序數據庫節點的負載壓力，將負載壓力最小的可用時序數據庫節點作為所述最優時序數據庫節點。