[發(fā)明專利]一種基于簡單配置方式的數(shù)據(jù)抽取方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011344134.7
• 申請日: 2020-11-25
• 公開（公告）號: CN112307108A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設計）人: 李飛;范文斌;王亞平;蔣保自;劉帆
• 申請（專利權）人: 科大國創(chuàng)云網(wǎng)科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/451;G06F16/28
• 代理公司: 合肥昊晟德專利代理事務所(普通合伙) 34153
• 代理人: 王林

1.一種基于簡單配置方式的數(shù)據(jù)抽取方法，其特征在于，包括以下步驟：

S1：同步數(shù)據(jù)配置

在同步數(shù)據(jù)配置界面，配置源數(shù)據(jù)庫的連接信息、需要同步到ES的數(shù)據(jù)表以及字段信息；

S2：連接參數(shù)校驗

在MySql數(shù)據(jù)配置界面，輸入同步庫的連接地址以及連接參數(shù)，完成后進行連接測試，前臺將用戶輸入的請求地址和參數(shù)發(fā)往后臺進行校驗；后臺獲取連接地址后，使用JDBC驅(qū)動類獲取連接，得到返回結果后，判斷連接對象實例是否為空，并將校驗結果實時反饋給前臺，前臺經(jīng)過渲染之后再反饋給用戶；

S3：同步調(diào)度引擎執(zhí)行數(shù)據(jù)同步任務

參數(shù)配置完成后，將向后臺發(fā)送請求，后臺執(zhí)行同步調(diào)度引擎，同步調(diào)度引擎收到同步請求后，執(zhí)行數(shù)據(jù)同步操作；

S4：持久化同步日志

數(shù)據(jù)抽取完成后，將當前抽取數(shù)據(jù)過程產(chǎn)生的日志持久化，供用戶在抽取失敗后查看相應的失敗日志排查問題。

2.根據(jù)權利要求1所述的一種基于簡單配置方式的數(shù)據(jù)抽取方法，其特征在于：在所述步驟S2中，同步庫的連接地址參數(shù)包括IP、端口、用戶名、密碼，連接參數(shù)包括useSSL、characterEncoding、useUnicode、allowMultiQueries。

3.根據(jù)權利要求2所述的一種基于簡單配置方式的數(shù)據(jù)抽取方法，其特征在于：在所述步驟S3中，同步調(diào)度引擎執(zhí)行數(shù)據(jù)同步任務的具體工作過程如下：

S31：調(diào)用KettleEnvironment.init()方法初始化Kettle環(huán)境；

S32：讀取默認的轉(zhuǎn)換時間格式模板，統(tǒng)一MySql和Elasticsearch中的時間格式，使兩者的時間格式保持一致；

S33：解析MySql連接信息，包含數(shù)據(jù)庫地址和庫表信息，并讀取數(shù)據(jù)到Kettle的DatabaseMeta數(shù)據(jù)庫元數(shù)據(jù)和StepMeta步驟元數(shù)據(jù)中；

S34：解析Elasticsearch地址，并使用MySql的數(shù)據(jù)名和表名，向Elasticsearch的RestClient API發(fā)送創(chuàng)建索引請求；

S35：創(chuàng)建Kettle的ElasticSearchBulkMeta對象，設置Elasticsearch的索引、索引類型、集群信息；

S36：調(diào)取Kettle的轉(zhuǎn)換引擎Trans執(zhí)行execute方法進行數(shù)據(jù)轉(zhuǎn)換，將MySql中數(shù)據(jù)抽取到Elasticsearch中。

4.根據(jù)權利要求3所述的一種基于簡單配置方式的數(shù)據(jù)抽取方法，其特征在于：在所述步驟S3中，執(zhí)行數(shù)據(jù)同步任務的同步機制包括立即同步和定時同步，定時同步支持Cron表達式配置定時同步數(shù)據(jù)。

5.根據(jù)權利要求4所述的一種基于簡單配置方式的數(shù)據(jù)抽取方法，其特征在于：在所述步驟S4中，當數(shù)據(jù)抽取失敗時，將失敗日志反饋給用戶；成功時將成功日志反饋給用戶。

6.一種基于簡單配置方式的數(shù)據(jù)抽取系統(tǒng)，采用如權利要求1～5任一項所述的數(shù)據(jù)抽取方法完成數(shù)據(jù)抽取工作，包括：

同步數(shù)據(jù)配置模塊，用于在同步數(shù)據(jù)配置界面，配置源數(shù)據(jù)庫的連接信息、需要同步到ES的數(shù)據(jù)表以及字段信息；

連接參數(shù)校驗模塊，用于在MySql數(shù)據(jù)配置界面，輸入同步庫的連接地址以及連接參數(shù)，完成后進行連接測試，前臺將用戶輸入的請求地址和參數(shù)發(fā)往后臺進行校驗；后臺獲取連接地址后，使用JDBC驅(qū)動類獲取連接，得到返回結果后，判斷連接對象實例是否為空，即用戶提供的信息是否能夠連接到數(shù)據(jù)庫，并將校驗結果實時反饋給前臺，前臺經(jīng)過渲染之后反饋給用戶；

任務執(zhí)行模塊，用于參數(shù)配置完成后，將向后臺發(fā)送請求，后臺執(zhí)行同步調(diào)度引擎，同步調(diào)度引擎收到同步請求后，執(zhí)行數(shù)據(jù)同步操作；

日志模塊，用于在數(shù)據(jù)抽取完成后，將當前抽取數(shù)據(jù)過程產(chǎn)生的日志持久化；

中央處理模塊，用于向其他模塊發(fā)出指令，完成相關動作；

所述同步數(shù)據(jù)配置模塊、所述連接參數(shù)校驗模塊、所述任務執(zhí)行模塊、所述日志模塊均與中央處理模塊電連接。