[發明專利]一種MYSQL從庫互相切換時采集點位映射處置方法

在審

• 申請號: 202211168101.0
• 申請日: 2022-09-23
• 公開（公告）號: CN115422166A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 周維;楊斌
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/28;G06F11/07
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 蔣秀清

本發明屬于大數據領域中的實時數據采集技術，公開了一種MYSQL從庫互相切換時采集點位映射處置方法，其將人工經驗抽象成算法解析，通過排序從庫BINLOG文件及倒序解析BINLOG內容，從最新的BINLOG文件最新的內容開始檢索，查詢對應采集點位，從而實現查找BINLOG文件最少，解析BINLOG日志最少的算法，找到對應切換從庫的采集點位，實現從庫異常切換到其他從庫無縫切換，保障業務連續性。

技術領域

本發明屬于大數據領域中的實時數據采集技術，具體涉及一種MYSQL從庫互相切換時采集點位映射處置方法。

背景技術

我行現有MYSQL數據庫架構是一主一備兩從，而實時采集架構是采集MYSQL架構的從庫BINLOG日志，原因是采集從庫BINLOG日志不會對主庫造成壓力，從而不影響業務負載。而我們當前實時采集MYSQL的方案是通過解析MYSQL BINLOG日志來獲取數據，但是再好的架構都存在異常的問題，因此我們經常遇到正在采集的從庫宕機或者停止服務的情況發生，在此情況下，如何保障我們的采集不中斷，業務不中斷呢？如何從當前異常的采集從庫BINLOG點位找到另一臺MYSQL從庫的對應BINLOG文件對應的采集點位？這是我行同時也是業界的痛點，當前業界也暫無對應的成熟方案。

針對上述問題，目前行業內的應對方案多是采用基于當前采集的點位的事件時間，人為經驗預估方法，找到對應從庫的BINLOG文件進行回退，該方法存在諸多弊端，耗費大量人力且不夠智能，找到的采集點位往往與實際的異常點采集點位存在偏差，導致消費的時候丟數或者重復消費，影響業務數據。而且在異常時，運維找到對應從庫并找到對應采集點位需要耗時較長，這期間業務是非連續性的，會導致業務停滯，影響甚大。

在所述背景技術部分公開的上述信息僅用于加強對本發明的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

為了解決上述現有技術存在的缺陷，本發明的目的在于提供一種MYSQL從庫互相切換時采集點位映射處置方法，其將人工經驗抽象成算法解析，通過排序從庫BINLOG文件及倒序解析BINLOG內容，從最新的BINLOG文件最新的內容開始檢索，查詢對應采集點位，從而實現查找BINLOG文件最少，解析BINLOG日志最少的算法，找到對應切換從庫的采集點位，實現從庫異常切換到其他從庫無縫切換，保障業務連續性。

本發明采用的技術方案如下：

1一種MYSQL從庫互相切換時采集點位映射處置方法，包括如下步驟：

步驟1：根據采集程序的報錯，發現從庫異常，定位從庫當前消費BINLOG文件和當前消費日志的位置，找到用戶對數據的動作記錄；

步驟2：根據用戶的動作記錄，去對應從庫的BINLOG日志文件倒序查找，找到對應的BINLOG文件及點位信息，進而找到對應的操作記錄點位信息；

步驟3：查找到對應切換從庫的匹配點位時，記錄該點位所在的BINLOG文件及事件時間和日志點位，作為重新啟動實時采集的入參，重新運行采集程序；

步驟4：實時采集程序獲取最新從庫的BINLOG文件、事件時間和日志點位信息即可從該點位斷點恢復采集，保障數據采集連續性。

采用上述技術方案，系統基于當前采集從庫的BINLOG日志異常點的點位，根據異常點的點位人工去倒序解析對應切換從庫的BINLOG文件并倒序解析BINLOG文件內容獲取從庫對應的采集點位(人工解析難度較大，往往是超前回退，下游去從，保障業務RTO及RPO)，將該采集點位作為切換后從庫的初始采集點位，從而實現平滑切換，保障業務連續性