[發明專利]一種數據庫分表數據的抽取方法、裝置及系統

在審

• 申請號: 202110439562.6
• 申請日: 2021-04-23
• 公開（公告）號: CN113138986A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 陳騰偉;王清琪
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/27;G06F16/28
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 葛鐘

本發明涉及一種數據庫分表數據的抽取方法、裝置及系統。該方法包括：數據調度系統調用預設的DataX平臺，利用DataX平臺抽取多個數據庫分表中目標分表數據；DataX平臺將數據庫分表數據傳輸至hive中；hive結合數據庫分表數據得到映射數據表，并將映射數據表寫入Kafka平臺，以供應用程序在Kafka平臺中獲取所需數據。上述方法實現了在大數據量場景下能夠快速抽取分表數據，多客戶端高并發消費數據的功能。

技術領域

本發明涉及數據庫數據讀取技術領域，具體涉及一種數據庫分表數據的抽取方法、裝置及系統。

背景技術

隨著數字智能化的發展，越來越多的領域中涉及的業務數據大多采用智能化進行管理。而業務數據智能化管理通過數據庫實現。在進行業務數據管理過程中必然會涉及數據庫數據的抽取和處理。數據庫中對業務數據進行管理時，是通過表的方式進行存儲。在需要使用數據庫中數據時，則直接從對應的表上抽取，然后對抽取到的數據進行處理。無論是數據庫主庫，還是數據庫分庫，其均需要從對應的數據庫中獲取所需數據。

目前，對數據庫表中數據進行抽取和處理方法是：先從數據庫表中查出多條業務數據，在相應的應用程序中對該業務數據處理完畢后，再循環上一次操作，如此反復，直到每張表的數據處理完畢。但現有數據抽取和處理方法在數據量大時，無法做到快速處理，進而影響數據性能。

發明內容

有鑒于此，本發明的目的在于克服現有技術的不足，提供一種數據庫分表數據的抽取方法、裝置及系統。解決目前無法快速處理大量數據庫分別數據的問題。

為實現以上目的，本發明采用如下技術方案：

一種數據庫分表數據的抽取方法，包括：

數據調度系統調用預設的DataX平臺，利用所述DataX平臺抽取多個數據庫分表中目標分表數據；

所述DataX平臺將所述數據庫分表數據傳輸至hive中；

所述hive結合所述數據庫分表數據得到映射數據表，并將所述映射數據表寫入Kafka平臺，以供應用程序在所述Kafka平臺中獲取所需數據。

可選的，還包括：

所述數據調度系統接收應用程序發送的數據請求指令及目標數據屬性；

所述數據調度系統依據所述數據請求指令調用所述DataX平臺。

可選的，還包括：

所述數據調度系統發送所述目標數據屬性至所述DataX平臺。

可選的，所述DataX平臺抽取多個數據庫分表中目標分表數據，包括：

依據所述目標數據屬性遍歷多個數據庫中的分表，獲取各個分表中所述目標數據屬性對應的目標數據；

將所有的所述目標數據進行格式統一性處理，得到所述目標分表數據；

將所述目標分表數據存入所述DataX平臺內的關系數據庫。

可選的，所述將所述映射數據表寫入Kafka平臺，包括：

所述hive通過Kafka Connect將所述映射數據表寫入所述Kafka平臺中的類別數據項中。

一種數據庫分表數據的抽取裝置，包括：

數據抽取模塊，用于數據調度系統調用預設的DataX平臺，利用所述DataX平臺抽取多個數據庫分表中目標分表數據；

數據傳輸模塊，用于所述DataX平臺將所述數據庫分表數據傳輸至hive中；