[發(fā)明專利]一種數(shù)據(jù)導(dǎo)入方法及裝置

有效

• 申請?zhí)枺?/td>: 201710347776.4
• 申請日: 2017-05-17
• 公開（公告）號: CN107153709B
• 公開（公告）日: 2020-09-04
• 發(fā)明（設(shè)計）人: 尚平平;臧勇真
• 申請（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28
• 代理公司: 北京安信方達知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 李紅爽;李丹

1.一種數(shù)據(jù)導(dǎo)入方法，其特征在于，包括以下步驟：

擴展數(shù)據(jù)轉(zhuǎn)移工具，使所述數(shù)據(jù)轉(zhuǎn)移工具具備導(dǎo)入數(shù)據(jù)至Kafka數(shù)據(jù)庫的功能；

分析從關(guān)系型數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)至所述Kafka數(shù)據(jù)庫所需的參數(shù)，并將所述參數(shù)通知所述數(shù)據(jù)轉(zhuǎn)移工具；

編寫Kafka MapReduce Job，調(diào)用Kafka中的接口函數(shù)，將從數(shù)據(jù)庫讀取的數(shù)據(jù)作為消息發(fā)送到Kafka數(shù)據(jù)庫，

通過所述數(shù)據(jù)轉(zhuǎn)移工具將所述關(guān)系型數(shù)據(jù)庫中的對應(yīng)數(shù)據(jù)導(dǎo)入至所述Kafka數(shù)據(jù)庫包括：

定制切分參數(shù)值，根據(jù)所述切分參數(shù)值對所述關(guān)系型數(shù)據(jù)庫進行切分，得到不同的切分區(qū)域；

將所述不同的切分區(qū)域分配至不同的映射中；

通過每個映射從所述數(shù)據(jù)庫中相應(yīng)的區(qū)域中獲取數(shù)據(jù)，并將獲取的數(shù)據(jù)導(dǎo)入所述Kafka數(shù)據(jù)庫中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中將從數(shù)據(jù)庫讀取的數(shù)據(jù)作為消息發(fā)送到Kafka數(shù)據(jù)庫的MapReduce程序。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：設(shè)計參數(shù)校驗條件；

在所述參數(shù)符合所述參數(shù)校驗條件時，將所述參數(shù)通知所述數(shù)據(jù)轉(zhuǎn)移工具。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述數(shù)據(jù)轉(zhuǎn)移工具包括Apache Sqoop。

5.一種數(shù)據(jù)導(dǎo)入裝置，其特征在于，包括：擴展模塊、分析模塊、數(shù)據(jù)導(dǎo)入模塊，其中，所述擴展模塊與所述分析模塊連接，所述分析模塊與所述數(shù)據(jù)導(dǎo)入模塊連接，

擴展模塊，用于擴展數(shù)據(jù)轉(zhuǎn)移工具，使所述數(shù)據(jù)轉(zhuǎn)移工具具備導(dǎo)入數(shù)據(jù)至Kafka數(shù)據(jù)庫的功能；

分析模塊，用于分析從關(guān)系型數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)至所述Kafka數(shù)據(jù)庫所需的參數(shù)，并將所述參數(shù)通知所述數(shù)據(jù)轉(zhuǎn)移工具；

數(shù)據(jù)導(dǎo)入模塊，用于編寫Kafka MapReduce Job，調(diào)用Kafka中的接口函數(shù)，將從數(shù)據(jù)庫讀取的數(shù)據(jù)作為消息發(fā)送到Kafka數(shù)據(jù)庫，

所述數(shù)據(jù)導(dǎo)入模塊包括：

切分單元，用于定制切分參數(shù)值，根據(jù)所述切分參數(shù)值對所述關(guān)系型數(shù)據(jù)庫進行切分，得到不同的切分區(qū)域；

分配單元，用于將所述不同的切分區(qū)域分配至不同的映射中；

映射單元，用于通過每個映射從所述數(shù)據(jù)庫中相應(yīng)的區(qū)域中獲取數(shù)據(jù)，并將獲取的數(shù)據(jù)寫入所述Kafka數(shù)據(jù)庫中。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述數(shù)據(jù)導(dǎo)入模塊將從數(shù)據(jù)庫讀取的數(shù)據(jù)作為消息發(fā)送到Kafka數(shù)據(jù)庫的MapReduce程序。

7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述分析模塊包括：

驗證單元，用于設(shè)計參數(shù)校驗條件，在所述參數(shù)符合所述參數(shù)校驗條件時，將所述參數(shù)通知所述數(shù)據(jù)轉(zhuǎn)移工具。

8.根據(jù)權(quán)利要求5至7中任一項所述的裝置，其特征在于，所述數(shù)據(jù)轉(zhuǎn)移工具包括Apache Sqoop。