[發(fā)明專利]一種基于報(bào)表工具的數(shù)據(jù)采集與處理方法

在審

• 申請?zhí)枺?/td>: 202010642605.6
• 申請日: 2020-07-06
• 公開（公告）號(hào): CN111797178A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 謝小艷;徐自力;楊子;張煒;劉路登;王海港;孫飛;李楊月;汪春燕
• 申請（專利權(quán)）人: 國網(wǎng)安徽省電力有限公司;安徽繼遠(yuǎn)軟件有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/215;G06F40/18;G06F40/151;G06F40/186
• 代理公司: 合肥天明專利事務(wù)所(普通合伙) 34115
• 代理人: 汪貴艷

一種基于報(bào)表工具的數(shù)據(jù)采集與處理方法，包括以下步驟；S1、構(gòu)建數(shù)據(jù)庫；S2、采集數(shù)據(jù)：采集數(shù)據(jù)的方法包括主動(dòng)采集、被動(dòng)采集，所述主動(dòng)采集為ETL工具采集，所述被動(dòng)采集通過數(shù)據(jù)上報(bào)采集；通過主動(dòng)采集、被動(dòng)采集的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫內(nèi)形成源數(shù)據(jù)；S3、生成報(bào)表：新建報(bào)表并輸入報(bào)表規(guī)則，根據(jù)報(bào)表規(guī)則將數(shù)據(jù)庫內(nèi)的源數(shù)據(jù)導(dǎo)入報(bào)表內(nèi)，形成報(bào)表；S4、讀取報(bào)表，本申請通過設(shè)置主動(dòng)采集和被動(dòng)采集兩組數(shù)據(jù)采集系統(tǒng)，因而可以將各級(jí)分布的數(shù)據(jù)集中到數(shù)據(jù)庫中，打破了遠(yuǎn)原來各級(jí)信息孤島的問題，提高了信息的集成度和交換速度，降低了各級(jí)信息交換的難度，同時(shí)設(shè)置報(bào)表引擎，實(shí)現(xiàn)了表格樣式的自定義設(shè)計(jì)和表格內(nèi)容的動(dòng)態(tài)生成。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集與處理技術(shù)領(lǐng)域，具體是一種基于報(bào)表工具的數(shù)據(jù)采集與處理方法。

背景技術(shù)

當(dāng)前在運(yùn)行的專業(yè)應(yīng)用系統(tǒng)多數(shù)為縱向煙囪式管理、獨(dú)立運(yùn)行，系統(tǒng)間缺少數(shù)據(jù)交互、聯(lián)動(dòng)控制，存在信息孤島。數(shù)據(jù)散落在各專用系統(tǒng)內(nèi)部的歷史數(shù)據(jù)庫中，獨(dú)立地以報(bào)表形式呈現(xiàn)給企業(yè)領(lǐng)導(dǎo)；當(dāng)領(lǐng)導(dǎo)需要綜合考慮來源于兩個(gè)乃至于更多系統(tǒng)的數(shù)據(jù)時(shí)，則往往無法從統(tǒng)一的、有組織的數(shù)據(jù)源中通過合適的工具獲取所需要的綜合信息。尤其是數(shù)據(jù)源分散在不同的安全區(qū)域的時(shí)候，更加難以進(jìn)行統(tǒng)一的查詢統(tǒng)計(jì)。這些有價(jià)值的數(shù)據(jù)，相互之間缺乏關(guān)聯(lián)，無法對電力系統(tǒng)中的各種元件做出統(tǒng)一、完整的描述。

實(shí)際生產(chǎn)過程中，省地縣調(diào)度業(yè)務(wù)多通過電話層層聯(lián)系，在故障統(tǒng)計(jì)、地區(qū)負(fù)荷新高、新能源機(jī)組分布及并網(wǎng)容量能等上報(bào)過程中，電話聯(lián)系或者郵件聯(lián)系，經(jīng)常會(huì)出現(xiàn)上傳下達(dá)要求理解不一致，耗時(shí)耗力,且缺乏歷史數(shù)據(jù)的保存和統(tǒng)計(jì)分析手段。當(dāng)前調(diào)度業(yè)務(wù)在使用數(shù)據(jù)查詢報(bào)表時(shí)，需要業(yè)務(wù)人員和技術(shù)技術(shù)人員反復(fù)溝通，技術(shù)人員再根據(jù)具體業(yè)務(wù)流程生成模板導(dǎo)出報(bào)表，這種模式下，技術(shù)支持人員工作量大、業(yè)務(wù)人員等待時(shí)間長，且生成的模板格式固定無法擴(kuò)展。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于報(bào)表工具的數(shù)據(jù)采集與處理方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于報(bào)表工具的數(shù)據(jù)采集與處理方法，包括以下步驟；

S1、構(gòu)建數(shù)據(jù)庫；

S2、采集數(shù)據(jù)：采集數(shù)據(jù)的方法包括主動(dòng)采集、被動(dòng)采集，所述主動(dòng)采集為ETL工具采集，所述被動(dòng)采集通過數(shù)據(jù)上報(bào)采集；通過主動(dòng)采集、被動(dòng)采集的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫內(nèi)形成源數(shù)據(jù)；

S3、生成報(bào)表：新建報(bào)表并輸入報(bào)表規(guī)則，根據(jù)報(bào)表規(guī)則將數(shù)據(jù)庫內(nèi)的源數(shù)據(jù)導(dǎo)入報(bào)表內(nèi)，形成報(bào)表；

S4、讀取報(bào)表。

作為本發(fā)明進(jìn)一步的方案：所述數(shù)據(jù)庫部署在服務(wù)器內(nèi)，服務(wù)器內(nèi)安裝docker容器并導(dǎo)入mysql數(shù)據(jù)庫和ETL工具，用以采集和處理數(shù)據(jù)存到mysql數(shù)據(jù)庫，ETL工具為kettle工具，服務(wù)器署基于微服務(wù)的springboot系統(tǒng)。

作為本發(fā)明進(jìn)一步的方案：S2中的ETL工具采集包括以下步驟：

(1)、創(chuàng)建數(shù)據(jù)表：在數(shù)據(jù)庫中創(chuàng)建數(shù)據(jù)表；

(2)、采集數(shù)據(jù)：根據(jù)需求，基于Chef原理完成job作業(yè)設(shè)計(jì)，Job作業(yè)運(yùn)行由Kitchen執(zhí)行，先建立與目標(biāo)庫的連接，開始之前進(jìn)行初始化，包括字集驗(yàn)證，SQL語法驗(yàn)證，參數(shù)驗(yàn)證，JDBC連接通信驗(yàn)證，檢查待采集的數(shù)據(jù)表在源數(shù)據(jù)庫中是否存在，若存在則結(jié)束數(shù)據(jù)采集，若不存在，則提取待采集的數(shù)據(jù)表；

(3)、處理數(shù)據(jù)：基于Spoon原理完成transformation轉(zhuǎn)換設(shè)計(jì)，transformation轉(zhuǎn)換由Pan執(zhí)行，轉(zhuǎn)換的過程中，首先會(huì)調(diào)用Pan.bat，然后對接入的數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理；