[發(fā)明專利]數(shù)據(jù)采集的方法、裝置、存儲介質(zhì)及終端

在審

• 申請?zhí)枺?/td>: 201711140378.1
• 申請日: 2017-11-16
• 公開（公告）號: CN107958028A
• 公開（公告）日: 2018-04-24
• 發(fā)明（設(shè)計）人: 梁博;王定鑫;溫善安;李磊
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙)44325
• 代理人: 譚果林

技術(shù)領(lǐng)域

本發(fā)明屬于通信技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)采集的方法、裝置、存儲介質(zhì)及終端。

背景技術(shù)

現(xiàn)有的數(shù)據(jù)采集方式，主要采用后臺工具，比如PLSQL對數(shù)據(jù)進行采集，是一種過程化語言，沒有可視化的操作界面，需要熟悉技術(shù)的IT人員進入后臺數(shù)據(jù)庫中操作。采集過程需要預(yù)先查詢并確認(rèn)所需采集的數(shù)據(jù)，然后由IT人員手動完成下載，操作專業(yè)性強，不方便。其他非IT人員無法自行進行數(shù)據(jù)采集，也不能自主設(shè)計數(shù)據(jù)展示頁面，數(shù)據(jù)采集效率低，對數(shù)據(jù)庫的操作風(fēng)險高，且僅僅支持Oracle數(shù)據(jù)庫采集。由于現(xiàn)有的數(shù)據(jù)采集方式需要預(yù)先確認(rèn)所需采集的數(shù)據(jù)，無法實現(xiàn)定時采集。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)采集的方法、裝置、存儲介質(zhì)及終端，以解決現(xiàn)有技術(shù)在進行數(shù)據(jù)采集時采集效率低、操作風(fēng)險高、無法定時采集的問題。

本發(fā)明實施例提供了一種數(shù)據(jù)采集的方法，所述方法包括：

加載數(shù)據(jù)源管理界面，基于所述數(shù)據(jù)源管理界面配置數(shù)據(jù)源，所述數(shù)據(jù)源類型包括Oracle數(shù)據(jù)庫或Hive數(shù)據(jù)庫；

加載報表模板管理界面，基于所述報表模板管理界面設(shè)置報表模板的數(shù)據(jù)源，構(gòu)建SQL模型，并根據(jù)所述SQL模型生成對應(yīng)的報表模板；

在進行數(shù)據(jù)采集時，讀取所述SQL模型中的SQL語句，按照所述SQL語句從所設(shè)置的數(shù)據(jù)源中采集數(shù)據(jù)，并通過所述報表模板展示所采集到的數(shù)據(jù)。

進一步地，所述方法還包括：

將所采集到的數(shù)據(jù)載入到指定文檔中，將所述指定文檔轉(zhuǎn)換為壓縮文件，并保存至文件服務(wù)器中；

獲取所述壓縮文件在文件服務(wù)器中的統(tǒng)一資源定位符。

進一步地，在構(gòu)建SQL模型，并根據(jù)所述SQL模型生成對應(yīng)的報表模板之后，所述方法還包括：

設(shè)置所述報表模板的定時采集時間；

按照預(yù)設(shè)時間間隔檢測當(dāng)前系統(tǒng)時間是否滿足所述定時采集時間；

若當(dāng)前系統(tǒng)時間滿足所述定時采集時間，則讀取所述SQL模型中的SQL語句；

按照所述SQL語句從所設(shè)置的數(shù)據(jù)源中采集數(shù)據(jù)，并通過所述報表模板展示所采集到的數(shù)據(jù)。

進一步地，所述基于所述數(shù)據(jù)源管理界面配置數(shù)據(jù)源，所述數(shù)據(jù)源類型包括Oracle數(shù)據(jù)庫或Hive數(shù)據(jù)庫包括：

在所述數(shù)據(jù)源管理界面上，根據(jù)接收到的操作指令配置數(shù)據(jù)源的基礎(chǔ)信息，設(shè)置數(shù)據(jù)源的擴展屬性；

其中，所述基礎(chǔ)信息包括數(shù)據(jù)源類型、數(shù)據(jù)源平臺名稱、數(shù)據(jù)源所屬URL、數(shù)據(jù)源生效狀態(tài)，所述數(shù)據(jù)源類型包括Oracle數(shù)據(jù)庫或者Hive數(shù)據(jù)庫。

進一步地，所述構(gòu)建SQL模型，并根據(jù)所述SQL模型生成對應(yīng)的報表模板包括：

通過所述報表模板管理界面獲取輸入的SQL模型的標(biāo)簽信息、類型信息；

通過所述報表模板管理界面獲取輸入的至少一個SQL語句；

保存所述標(biāo)簽信息、類型信息以及SQL語句，生成SQL模型并進入可視控件編輯窗口；

根據(jù)所述SQL模型在所述可視控件編輯窗口中添加報表元素，其中一個SQL語句對應(yīng)一個報表元素；

根據(jù)所選擇的編輯控件對所述報表元素進行修改；

保存修改后的所述報表元素，生成報表模板。

進一步地，所述在進行數(shù)據(jù)采集時，讀取所述SQL模型中的SQL語句，按照所述SQL語句從所設(shè)置的數(shù)據(jù)源中采集數(shù)據(jù)包括：

當(dāng)接收到數(shù)據(jù)采集指令時，獲取報表模板的名稱信息；

根據(jù)所述名稱信息獲取所述報表模板已配置的SQL模型，讀取所述SQL模型中的SQL語句，輸出所述SQL語句的選擇界面；

根據(jù)所選取的SQL語句從所設(shè)置的數(shù)據(jù)源中采集數(shù)據(jù)。

本發(fā)明實施例還提供了一種數(shù)據(jù)采集的裝置，所述裝置包括：

數(shù)據(jù)源配置模塊，用于加載數(shù)據(jù)源管理界面，基于所述數(shù)據(jù)源管理界面配置數(shù)據(jù)源，所述數(shù)據(jù)源類型包括Oracle數(shù)據(jù)庫或Hive數(shù)據(jù)庫；

報表模板配置模塊，用于加載報表模板管理界面，基于所述報表模板管理界面設(shè)置報表模板的數(shù)據(jù)源，構(gòu)建SQL模型，并根據(jù)所述SQL模型生成對應(yīng)的報表模板；

數(shù)據(jù)采集模塊，用于在進行數(shù)據(jù)采集時，讀取所述SQL模型中的SQL語句，按照所述SQL語句從所設(shè)置的數(shù)據(jù)源中采集數(shù)據(jù)，并通過所述報表模板展示所采集到的數(shù)據(jù)。

進一步地，所述裝置還包括：

數(shù)據(jù)保存模塊，用于將所采集到的數(shù)據(jù)載入到指定文檔中，將所述指定文檔轉(zhuǎn)換為壓縮文件，并保存至文件服務(wù)器中；