[發明專利]一種基于Mysql分庫分表的實時采集方法

在審

• 申請號: 202110370305.1
• 申請日: 2021-04-07
• 公開（公告）號: CN112765184A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 田浩兵;張奎;譚巍
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/28
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 濮云杉

本發明屬于計算機技術領域，尤其涉及一種基于Mysql分庫分表的實時采集方法，通過配置化的方式來支持實時采集分庫分表數據，通過建立配置信息，填寫需采集的數據庫IP地址，端口、數據庫名和表名，分端口，分庫，分表采集；采集程序對與每一個實例通過連接池的方式建立連接；通過監聽數據的Binlog日志，實時解析Binlog日志；獲取數據庫中建表語句的Schema信息，每個字段的數據類型信息存儲起來，不同數據類型進入到不同的解析方法類；對于同一張表的分庫分表，采集后進行匯總輸出，在服務器上通過Shell腳本，啟動程序；打印配置表中的信息，對分庫分表配置信息；通過Shell腳本遍歷出來和程序輸出日志中采集的表信息進行對比，打印出未成功采集的表名和采集異常的表名。

技術領域

本發明屬于計算機技術領域，尤其涉及一種基于Mysql分庫分表的實時采集方法。

背景技術

在大數據實時計算方向，數據集成是開始實時計算第一步，在企業中，由于數據量很多，導致數據存儲在單庫單表存在一定的查詢壓力；因此，企業一般都采用將同一份數據分開存儲和不同庫和表，在查詢時，將用戶路由到指定的庫和表，以減輕查詢的壓力。這對于實時數據采集而言，也需要適應該類分庫分表的方法，因此有必要提供一種基于Mysql分庫分表的實時采集方法來匹配該類庫分表方法。

發明內容

本發明提供了一種基于Mysql分庫分表的實時采集方法，提供了一種通過配置化的方式來支持實時采集分庫分表數據的方法。

為實現上述目的，本發明提供如下技術方案：

一種基于Mysql分庫分表的實施采集方法，包括以下步驟：

步驟1：建立配置信息，填寫需要采集的數據庫IP地址，端口和數據庫名，表名；

步驟2：配置表支持分IP，分端口，分庫，分表采集；采集程序對與每一個實例通過連接池的方式建立連接；

步驟3：通過監聽數據的Binlog日志，實時解析Binlog日志；獲取數據庫中建表語句的Schema信息，每個字段的數據類型信息存儲起來，不同數據類型進入到不同的解析方法類；最后對于同一張表的分庫分表，采集后進行匯總輸出，同時通過在采集時根據Binlog日志的時間戳，保證數據的嚴格有序性；

步驟4：在服務器上通過Shell腳本，啟動程序；打印配置表中配置的表信息，對分庫分表配置信息；通過Shell腳本遍歷出來，和程序輸出日志中成功采集的表信息進行對比，打印出未成功采集的表名和采集異常的表名。

與現有技術相比本發明的有益效果是：1.本發明配置的采集分庫分表數據，同時采集后，能將數據進行統一匯總輸出。

2.通過在采集時根據Binlog日志的時間戳，保證數據的嚴格有序性。

3.不同數據類型進入到不同的解析方法類，從而達到針對性解析的目的。

附圖說明

圖1為本發明的系統流程示意圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

參見附圖1本發明的一種基于Mysql分庫分表的實施采集方法，包括以下步驟：

步驟1：建立配置信息，填寫需要采集的數據庫IP地址，端口和數據庫名，表名；

步驟2：配置表支持分IP，分端口，分庫，分表采集；采集程序對與每一個實例通過連接池的方式建立連接；