[發(fā)明專利]數(shù)據(jù)導(dǎo)入方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610041954.6
• 申請(qǐng)日: 2016-01-21
• 公開（公告）號(hào): CN106991100B
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 李飛
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京律智知識(shí)產(chǎn)權(quán)代理有限公司 11438
• 代理人: 姜怡;闞梓瑄

1.一種數(shù)據(jù)導(dǎo)入方法，其特征在于，包括：

指定預(yù)先創(chuàng)建的用于作為數(shù)據(jù)導(dǎo)入模板的KETTLE文件；

根據(jù)所述KETTLE文件中預(yù)設(shè)的需要重新配置的信息設(shè)置配置信息；

根據(jù)所述配置信息對(duì)所述KETTLE文件進(jìn)行動(dòng)態(tài)解析，以自動(dòng)進(jìn)行數(shù)據(jù)導(dǎo)入；

所述KETTLE文件包括：數(shù)據(jù)源輸入部分、JavaScript代碼部分、表輸入部分、流查詢部分、增加常量部分、排序去重部分、字段選擇部分、表輸出部分、和/或空操作部分；

所述數(shù)據(jù)源輸入部分，包括上傳的需求文件；

所述JavaScript代碼部分，包括JavaScript腳本，所述JavaScript腳本用于將上傳文件中的單元格進(jìn)行數(shù)據(jù)校驗(yàn)和數(shù)據(jù)格式轉(zhuǎn)換；

所述表輸入部分，用于獲取一個(gè)數(shù)據(jù)源的數(shù)據(jù)，包括查詢語句；其中，所述查詢語句，用于數(shù)據(jù)的校驗(yàn)和對(duì)導(dǎo)入數(shù)據(jù)完整性的匹配；

所述流查詢部分，用于將表輸入獲取的數(shù)據(jù)和數(shù)據(jù)源里面的列字段進(jìn)行比較；

所述增加常量部分，用于對(duì)數(shù)據(jù)庫默認(rèn)的字段賦值；

所述排序去重部分，用于對(duì)數(shù)據(jù)源中指定行記錄進(jìn)行重復(fù)記錄校驗(yàn)；

所述字段選擇部分，用于選擇要插入數(shù)據(jù)庫的列；

所述表輸出部分，用于選定業(yè)務(wù)表，指定要插入的列進(jìn)行數(shù)據(jù)插入；

所述空操作部分，用于插入異常處理；其中，插入異常處理的方式為：遇到異常之后跳過或回滾，回滾的類型包括回滾至數(shù)據(jù)到日之前以及回滾至異常記錄之前并繼續(xù)執(zhí)行跳過所述異常記錄；

其中，自動(dòng)進(jìn)行數(shù)據(jù)導(dǎo)入的操作包括：通過WEB服務(wù)器自動(dòng)進(jìn)行數(shù)據(jù)導(dǎo)入；其中，通過WEB服務(wù)器自動(dòng)進(jìn)行數(shù)據(jù)導(dǎo)入，包括：根據(jù)生成所述KETTLE文件所采用的KETTLE圖形節(jié)點(diǎn)依據(jù)API封裝解析類引擎，利用所述解析類引擎解析所述KETTLE文件向所述WEB服務(wù)器導(dǎo)入待導(dǎo)入數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述KETTLE文件為預(yù)先采用用于生成KETTLE文件的工具，按照將第一預(yù)設(shè)類型的數(shù)據(jù)源根據(jù)設(shè)定邏輯導(dǎo)入第二預(yù)設(shè)類型的數(shù)據(jù)庫所生成的KETTLE文件。

3.根據(jù)權(quán)利要求1至2任一項(xiàng)所述的方法，其特征在于：

所述KETTLE文件中需要重新配置的信息包括數(shù)據(jù)源；

所述預(yù)設(shè)的需要重新配置的信息包括所述KETTLE文件中涉及的數(shù)據(jù)源。

4.一種數(shù)據(jù)導(dǎo)入裝置，其特征在于，包括：

KETTLE文件指定單元，用于指定預(yù)先創(chuàng)建的用于作為數(shù)據(jù)導(dǎo)入模板的KETTLE文件；

配置信息設(shè)置單元，用于根據(jù)所述KETTLE文件中預(yù)設(shè)的需要重新配置的信息設(shè)置配置信息；

服務(wù)單元，用于根據(jù)所述配置信息對(duì)所述KETTLE文件進(jìn)行動(dòng)態(tài)解析，以自動(dòng)進(jìn)行數(shù)據(jù)導(dǎo)入；

所述KETTLE文件包括：數(shù)據(jù)源輸入部分、JavaScript代碼部分、表輸入部分、流查詢部分、增加常量部分、排序去重部分、字段選擇部分、表輸出部分、和/或空操作部分；

所述數(shù)據(jù)源輸入部分，包括上傳的需求文件；

所述JavaScript代碼部分，包括JavaScript腳本，所述JavaScript腳本用于將上傳文件中的單元格進(jìn)行數(shù)據(jù)校驗(yàn)和數(shù)據(jù)格式轉(zhuǎn)換；

所述表輸入部分，用于獲取一個(gè)數(shù)據(jù)源的數(shù)據(jù)，包括查詢語句；

所述流查詢部分，用于將表輸入獲取的數(shù)據(jù)和數(shù)據(jù)源里面的列字段進(jìn)行比較；

所述增加常量部分，用于對(duì)數(shù)據(jù)庫默認(rèn)的字段賦值；

所述排序去重部分，用于對(duì)數(shù)據(jù)源中指定行記錄進(jìn)行重復(fù)記錄校驗(yàn)；

所述字段選擇部分，用于選擇要插入數(shù)據(jù)庫的列；

所述表輸出部分，用于選定業(yè)務(wù)表，指定要插入的列進(jìn)行數(shù)據(jù)插入；

所述空操作部分，用于插入異常處理；

其中，所述服務(wù)單元用于，通過WEB服務(wù)器自動(dòng)進(jìn)行數(shù)據(jù)導(dǎo)入；其中，所述服務(wù)單元通過WEB服務(wù)器自動(dòng)進(jìn)行數(shù)據(jù)導(dǎo)入，包括：根據(jù)生成所述KETTLE文件所采用的KETTLE圖形節(jié)點(diǎn)依據(jù)API封裝解析類引擎，利用所述解析類引擎解析所述KETTLE文件向所述WEB服務(wù)器導(dǎo)入待導(dǎo)入數(shù)據(jù)。