[發明專利]多數據源數據庫接入方法

在審

• 申請號: 202110368434.7
• 申請日: 2021-04-06
• 公開（公告）號: CN113111111A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 何文江;花福軍;周正斌;周陽
• 申請（專利權）人: 創意信息技術股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種多數據源數據庫接入方法、裝置、設備及存儲介質，該方法包括獲取數據庫待接入數據構建設計器和執行器，以使所述設計器和執行器滿足數據庫的數據增量及數據表的接入；利用數據庫對應的設計器，根據所述待接入數據配置接入信息和處理信息；利用所述數據庫對應的執行器，根據所述配置接入信息和處理信息對所述數據庫待接入數據進行數據讀取、數據處理和數據寫入。本發明采用了設計器與執行器分離，數據獲取與數據入庫分離，再加上Kafka消息中間件的方式進行實現。旨在解決現有技術中存在的在面臨的業務場景較多，數據來源的方式種類均未知，數據接入時可能存在數據量反復變化等情況時，數據接入效率低依舊不能很好解決的技術問題。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種多數據源數據庫接入方法、裝置、設備及存儲介質。

背景技術

目前，把數據從源數據庫中轉移到目的數據庫中進行存儲或計算時，需要使用數據接入工具來進行轉移。當使用多種源數據庫時，就需要使用多種接入工具將多種源數據庫中的數據接入至目標數據庫。

傳統技術中，目標數據庫從不同的源數據庫中接入數據時，其根據不同的數據庫以及實時還是離線的情況，可以選擇使用不同的接入工具來分別接入數據。例如：使用DataX和Sqoop等數據接入工具，可以離線接入Mysql、Oracle等數據庫中的數據；使用Canal等數據接入工具可以接入實時增量數據等。

但是上述數據接入方法在接入數據時，數據接入面臨的業務場景較多，數據來源的方式種類均未知，另外，數據接入時可能存在數據量反復變化的情況，且用戶對每個接入工具的配置信息非常熟悉，其對用戶專業知識要求較高，用戶操作體驗不佳。

專利公開號為CN109669977A的中國專利公開了一種跨數據庫的數據接入方法、裝置、計算機設備及存儲介質，但該專利技術方案在面臨的業務場景較多，數據來源的方式種類均未知，數據接入時可能存在數據量反復變化等情況時，依舊不能得到很好的解決。

因此，如何提高多數據來源和數據量反復變化的數據接入的用戶操作體驗，是一個亟需解決的技術問題。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種多數據源數據庫接入方法、裝置、設備及存儲介質，旨在解決現有技術中存在的在面臨的業務場景較多，數據來源的方式種類均未知，數據接入時可能存在數據量反復變化等情況時，數據接入效率低依舊不能很好解決的技術問題。

為實現上述目的，本發明提出多數據源數據庫接入方法，包括以下步驟：

獲取數據庫待接入數據，根據所述數據庫構建所述數據庫對應的設計器和執行器，以使所述設計器和執行器滿足所述數據庫的數據增量及數據表的接入；

利用所述數據庫對應的設計器，根據所述待接入數據配置接入信息和處理信息；

利用所述數據庫對應的執行器，根據所述配置接入信息和處理信息對所述數據庫待接入數據進行數據讀取、數據處理和數據寫入。

可選的，獲取數據庫待接入數據，根據所述數據庫構建所述數據庫對應的設計器和執行器，以使所述設計器和執行器滿足所述數據庫的數據增量及數據表的接入步驟之前，還包括：

獲取數據庫待接入數據并識別所述數據庫類型；

調用數據類型適配器，利用所述數據類型適配器將所述數據庫待接入數據轉換為所需數據類型。

可選的，調用數據類型適配器，利用所述數據類型適配器將所述數據庫待接入數據轉換為所需數據類型步驟，具體包括：

利用所述數據類型適配器，將所述數據庫待接入數據在包括Oracle、萬里開源、DB2、Mysql、達夢、HBase、Hive或人大金倉中的任意兩種類型之間進行轉換。