[發(fā)明專利]一種智能生成抽取腳本的方法、裝置及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210379800.3
• 申請日: 2022-04-12
• 公開（公告）號: CN114817388A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 張鵬;彭光;林大偉
• 申請（專利權(quán)）人: 浪潮軟件股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜麗潔

本發(fā)明涉及數(shù)據(jù)倉庫輔助技術(shù)領(lǐng)域，具體提供了一種智能生成抽取腳本的方法，基于ETL，對數(shù)據(jù)進(jìn)行數(shù)據(jù)源配置，完成數(shù)據(jù)源映射關(guān)系配置，數(shù)據(jù)表進(jìn)行配置，完成表到表的映射關(guān)系配置，選擇數(shù)據(jù)表之后，進(jìn)行字段映射配置，再進(jìn)行數(shù)據(jù)清洗，最后生成腳本。與現(xiàn)有技術(shù)相比，本發(fā)明通過選擇數(shù)據(jù)源、數(shù)據(jù)表、字段映射等信息，生成可供ETL工具打開使用或程序直接調(diào)用的數(shù)據(jù)抽取腳本，方便快捷。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)倉庫輔助技術(shù)領(lǐng)域，具體提供一種智能生成抽取腳本的方法、裝置及介質(zhì)。

背景技術(shù)

隨著社會信用體系的逐漸完善，提供的涉及行政處罰、行政許可、紅黑名單和失信被執(zhí)行人等領(lǐng)域的數(shù)據(jù)成為分析法人和自然人信用情況的關(guān)鍵。通常采用ETL技術(shù)將征集的各類數(shù)據(jù)經(jīng)過抽取、清洗和轉(zhuǎn)換之后加載到本地數(shù)據(jù)倉庫。

將不同數(shù)據(jù)來源中分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為數(shù)據(jù)分析和政府決策提供重要依據(jù)。使用ETL過程中，最大的難點(diǎn)就在于數(shù)據(jù)抽取過程需要使用特定的數(shù)據(jù)抽取工具進(jìn)行數(shù)據(jù)源、表到表映射、數(shù)據(jù)清洗規(guī)則等繁瑣的配置，對操作人員的技術(shù)要求較高。

發(fā)明內(nèi)容

本發(fā)明是針對上述現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)的智能生成抽取腳本的方法。

本發(fā)明進(jìn)一步的技術(shù)任務(wù)是提供一種設(shè)計合理，安全適用的智能生成抽取腳本的裝置。

本發(fā)明進(jìn)一步的技術(shù)任務(wù)是提供計算機(jī)可讀介質(zhì)。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種智能生成抽取腳本的方法，基于ETL，對數(shù)據(jù)進(jìn)行數(shù)據(jù)源配置，完成數(shù)據(jù)源映射關(guān)系配置，數(shù)據(jù)表進(jìn)行配置，完成表到表的映射關(guān)系配置，選擇數(shù)據(jù)表之后，進(jìn)行字段映射配置，再進(jìn)行數(shù)據(jù)清洗，最后生成腳本。

進(jìn)一步的，在數(shù)據(jù)源配置中，查看配置好的數(shù)據(jù)源連接信息，支持在線測試連接狀態(tài)，根據(jù)項目實(shí)際情況選擇輸入數(shù)據(jù)源和輸出數(shù)據(jù)源，完成數(shù)據(jù)源映射關(guān)系配置。

進(jìn)一步的，選擇數(shù)據(jù)源之后，展示出所述數(shù)據(jù)源下全部數(shù)據(jù)表信息，根據(jù)項目情況選擇數(shù)據(jù)來源表和數(shù)據(jù)接收表，完成表到表的映射關(guān)系配置。

進(jìn)一步的，選擇數(shù)據(jù)表之后，展示出輸入表和輸出表全部字段信息，先根據(jù)字段名稱進(jìn)行默認(rèn)映射，未能映射上的字段可以再通過手動選擇進(jìn)行映射。

進(jìn)一步的，在數(shù)據(jù)清洗中進(jìn)行規(guī)則的配置，配置數(shù)據(jù)抽取過程中清洗關(guān)鍵特征的字段，包括判重字段、增量檢查字段和刪除檢查字段。

進(jìn)一步的，在生成腳本的過程中，首先輸入腳本名稱，選擇腳本生成位置，進(jìn)行數(shù)據(jù)上報信息，完成數(shù)據(jù)抽取腳本流程，在服務(wù)器對應(yīng)位置生成腳本。

一種智能生成抽取腳本的裝置，包括：至少一個存儲器和至少一個處理器；

所述至少一個存儲器，用于存儲機(jī)器可讀程序；

所述至少一個處理器，用于調(diào)用所述機(jī)器可讀程序，執(zhí)行一種智能生成抽取腳本的方法。

一種計算機(jī)可讀介質(zhì)，所述計算機(jī)可讀介質(zhì)上存儲有計算機(jī)指令，所述計算機(jī)指令在被處理器執(zhí)行時，使所述處理器執(zhí)行一種智能生成抽取腳本的方法。

本發(fā)明的一種智能生成抽取腳本的方法、裝置及介質(zhì)和現(xiàn)有技術(shù)相比，具有以下突出的有益效果：

本發(fā)明將數(shù)據(jù)源、數(shù)據(jù)表、字段映射、數(shù)據(jù)清洗規(guī)則配置和生成腳本繁瑣的配置進(jìn)行了簡化，操作人員根據(jù)項目實(shí)際情況選擇數(shù)據(jù)源和數(shù)據(jù)表后，程序自動進(jìn)行字段映射和數(shù)據(jù)清洗規(guī)則配置，提交后即可創(chuàng)建一個完整的數(shù)據(jù)抽取腳本。

省去了操作人員使用ETL工具創(chuàng)建數(shù)據(jù)抽取腳本的步驟，改為直接通過平臺只能生成抽取腳本的功能。通過選擇數(shù)據(jù)源、數(shù)據(jù)表、字段映射等信息，生成可供ETL工具打開使用或程序直接調(diào)用的數(shù)據(jù)抽取腳本，方便快捷。