[發明專利]一種基于Elastic Search的雙活實時數據倉庫建設方法

有效

• 申請號: 202011224108.0
• 申請日: 2020-11-05
• 公開（公告）號: CN112100160B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 譚巍;陳衛;田浩兵;張奎;李燁
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27;G06F9/54
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 濮云杉

本發明公開了一種基于Elastic Search的雙活實時數據倉庫建設方法，涉及大數據實時計算技術領域，解決了現有技術中實時數據倉庫建設存在數據的一致性無法保證的問題；本方案包括以下步驟：獲取Elastic Search集群A中每個節點上的索引主分片，讀取節點下每個主分片的預寫日志記錄；對讀取的預寫日志記錄進行判斷，將讀取的數據通過同步阻塞的方式寫入到Elastic Search集群B；將寫入失敗的數據重新寫入，定時檢測磁盤上存在的因寫入失敗而持久化的數據，將運行中的異常錯誤的消息發送到kafka集群中，接入監控實時告警。本發明可以保證兩個集群中的數據完全一致，主要應用于大數據分析領域。

技術領域

本發明涉及大數據實時計算技術領域，具體涉及一種基于Elastic Search的雙活實時數據倉庫建設方法。

背景技術

當前大數據盛行的年代，用于存儲海量數據的數據倉庫也十分多，分布式搜索引擎ElasticSearch(搜索引擎，ES)便是屬于其中之一。分布式搜索引擎ElasticSearch是一個基于Lucene構建的開源、分布式、Restful搜索服務器，一般用于云計算中。它能夠很方便的使大量數據具有搜索、分析和探索的能力。充分利用分布式搜索引擎ElasticSearch的水平伸縮性，能使數據在生產環境變得更有價值。

隨著大數據技術在金融領域的應用范圍越來越廣，對數據的時效性要求也越來越高，比如實時精準營銷和實時風險控制反欺詐。為了滿足業務場景的需求，基本上都建立實時數據倉庫，但是銀行等金融行業存在明顯的業務高低峰波動，所以對建立的實時數據倉庫提出了更高的要求，不僅需要保證實時數據倉庫的高可用性，還需要考慮在業務高峰的時候進行流量分擔，確保用戶體驗的流暢性。Elastic Search集群中包含若干節點，每個節點包含有一個以上的索引，各索引又被分為一個以上的索引分片，所述索引分片僅包含主分片或同時包含主分片和一個以上的副本。

現有技術中針對實時數據倉庫建設主要有如下兩種方法：

應用層雙寫：通過應用層代碼將數據寫入到2個集群，通過部署2套業務代碼，向2個集群寫入數據，同時需要應用層來保證數據在2個集群中的一致性。這種方法最簡單，但是后期管理和維護比較麻煩，比如一次上線回滾操作需要寫入兩次，部署也需要兩次，同時存在數據一致性的問題。

消息隊列拉?。?/p>

將需要寫入的數據放入消息隊列中，如kafka,然后2個集群分別從同一個消息隊列里面進行數據拉取，這種方法存在的問題是寫入的數據是相互獨立的，無法確保一次寫入是否都成功，或者都失敗，無法確保數據的一致性。

以上兩種方法都存在同樣的問題：數據的一致性無法保證，存在數據可能在某一個集群寫入成功，而在另一個集群寫入失敗的問題，其根本原因是兩次寫入讓2次操作相互獨立了，同時，上述方法后期的管理和維護成本比較高。

發明內容

針對上述現有技術中存在的問題，本發明提供一種基于Elastic Search的雙活實時數據倉庫建設方法，其目的在于：

本發明采用的技術方案如下：

一種基于Elastic Search的雙活實時數據倉庫建設方法，包括Elastic Search集群A和Elastic Search集群B,其包括以下步驟：

步驟A:獲取Elastic Search集群A中每個節點上的索引主分片，各個主分片存儲其所在節點的IP地址；

步驟B:在每個節點上的數據盤目錄下，讀取節點下每個主分片的預寫日志記錄；

步驟C：對讀取的預寫日志記錄進行判斷，將符合要求的預寫日志記錄寫入環形緩沖隊列;

步驟D:多線程讀取環形緩沖隊列中的數據，然后將讀取的數據通過同步阻塞的方式寫入到Elastic Search集群B；