[發明專利]基于HBase數據庫的跨機房集群的容災方法、裝置和系統在審
| 申請號： | 201911271462.6 | 申請日： | 2019-12-12 |
| 公開（公告）號： | CN111190766A | 公開（公告）日： | 2020-05-22 |
| 發明（設計）人： | 黃建庭;宋榮鑫;肖衛渭;曹德高 | 申請（專利權）人： | 北京淇瑀信息科技有限公司 |
| 主分類號： | G06F11/14 | 分類號： | G06F11/14 |
| 代理公司： | 北京清誠知識產權代理有限公司 11691 | 代理人： | 李博 |
| 地址： | 100012 北京市朝陽*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 hbase 數據庫 機房 集群 方法 裝置 系統 | ||
本發明公開了一種基于HBase數據庫的跨機房集群的容災方法、裝置、系統和計算機可讀介質，其中方法包括：前端將消息寫入主集群服務器；前端將消息發送到消息中間件集群，消費功能模塊消費消息中間件集群中的消息，消費功能模塊將消息寫入從集群服務器；前端從主集群服務器中讀取狀態，如果狀態讀取失敗，則前端將消息寫入從集群服務器，前端將消息發送到消息中間件集群，消費功能模塊讀取消息后將消息寫入主集群服務器。本發明能夠在底層通過異步、低延時的方式把消息透傳到消息中間件集群，消息中間件集群將消息發送到從集群服務器，保證跨機房數據的準實時性，同時定期進行主從集群服務器數據對比和檢驗，保證數據的最終一致性。
技術領域
本發明涉及計算機信息處理領域，具體而言，涉及一種基于HBase數據庫的跨機房集群的容災方法、裝置和系統。
背景技術
隨著互聯網金融的發展，互聯網金融業務對數據的依賴程度越來越高。為了保證數據的準確和安全通常都是采用容災技術。
目前的容災技術是采用機房集群服務器容災技術，通常是同時將數據寫入主集群服務器和從集群服務器進行數據保存。當主集群服務器發生故障時切換到從集群服務器進行數據保存。
但由于機房集群服務器的復雜性較高、前端消息吞吐量大、網絡延時等問題，導致從集群服務器數據可能出現數據不全的問題，現有的容災技術不能滿足機房級集群服務器容災準實時性的要求。
發明內容
本發明旨在解決現有的容災技術不能滿足機房級集群服務器容災準時性的要求的問題。
為了解決上述技術問題，本發明第一方面提出一種基于HBase數據庫的跨機房集群的容災方法，方法包括：
前端將消息寫入主集群服務器；
前端將消息發送到消息中間件集群，消費功能模塊讀取消息中間件集群中的消息，消費功能模塊將消息寫入從集群服務器；
前端從所述主集群服務器中讀取狀態，如果狀態讀取失敗，則前端將消息寫入從集群服務器，前端將消息發送到消息中間件集群，消費功能模塊讀取消息中間件集群中的消息，消費功能模塊將消息寫入主集群服務器。
根據本發明的一種優選實施方式，同時前端將消息發送到消息中間件集群還包括：判斷所述消息是否成功發送到消息中間件集群，如果發送失敗則將消息發送至中轉路由，等待一定時間后中轉路由將所述消息補發給所述消息中間件集群。
根據本發明的一種優選實施方式，還包括：
設置補發次數閾值；
如果所述中轉路由補發消息給所述消息中間件集群成功，則所述補發次數清零；
如果所述中轉路由補發消息給所述消息中間件集群失敗則補發次數加1，當所述補發次數超過閾值時，所述前端停止向所述消息中間件集群發送消息，所述主集群服務器定期同步數據到從集群服務器，覆蓋從集群服務器原有數據。
根據本發明的一種優選實施方式，方法還包括：主集群服務器定期與從集群服務器進行數據比對和校驗。
根據本發明的一種優選實施方式，所述消息中間件集群包括kafka、rabbitmq和Rocketmq。
根據本發明的一種優選實施方式，前端將消息發送到消息中間件集群包括，采用異步的方式將消息透傳到消息中間件集群。
根據本發明的一種優選實施方式，所述中轉路由為Mongos路由。
為了解決上述技術問題，本發明第二方面提出一種基于HBase數據庫的跨機房集群的容災裝置，裝置包括：
主集群服務器寫入模塊，用于使前端將消息寫入主集群服務器；
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京淇瑀信息科技有限公司，未經北京淇瑀信息科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201911271462.6/2.html，轉載請聲明來源鉆瓜專利網。
