[發明專利]一種基于報表工具的數據采集與處理方法

在審

• 申請號: 202010642605.6
• 申請日: 2020-07-06
• 公開（公告）號: CN111797178A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 謝小艷;徐自力;楊子;張煒;劉路登;王海港;孫飛;李楊月;汪春燕
• 申請（專利權）人: 國網安徽省電力有限公司;安徽繼遠軟件有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215;G06F40/18;G06F40/151;G06F40/186
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 汪貴艷

1.一種基于報表工具的數據采集與處理方法，其特征在于，包括以下步驟；

S1、構建數據庫；

S2、采集數據：采集數據的方法包括主動采集、被動采集，所述主動采集為ETL工具采集，所述被動采集通過數據上報采集；通過主動采集、被動采集的數據存儲到數據庫內形成源數據；

S3、生成報表：新建報表并輸入報表規則，根據報表規則將數據庫內的源數據導入報表內，形成報表；

S4、讀取報表。

2.根據權利要求1所述的一種基于報表工具的數據采集與處理方法，其特征在于，所述數據庫部署在服務器內，服務器內安裝docker容器并導入mysql數據庫和ETL工具，用以采集和處理數據存到mysql數據庫，ETL工具為kettle工具，服務器部署基于微服務的springboot系統。

3.根據權利要求1所述的一種基于報表工具的數據采集與處理方法，其特征在于，所述S2中的ETL工具采集包括以下步驟：

(1)、創建數據表：在數據庫中創建數據表；

(2)、采集數據：根據需求，基于Chef原理完成job作業設計，Job作業運行由Kitchen執行，先建立與目標庫的連接，開始之前進行初始化，包括字集驗證、SQL語法驗證、參數驗證、DBC連接通信驗證，檢查待采集的數據表在源數據庫中是否存在，若存在則結束數據采集，若不存在，則提取待采集的數據表；

(3)、處理數據：基于Spoon原理完成transformation轉換設計，transformation轉換由Pan執行，轉換的過程中，首先會調用Pan.bat，然后對接入的數據進行轉換處理；

(4)、保存數據：Pan的最后一步會調用1auncher.jar包，這個包用于啟動JDBC驅動，并向JDBC傳入相關連接信息和參數，然后開始傳數據，最后是完成數據傳輸，將數據存入mysql數據庫中，再關閉相關協議，寫入日志。

4.根據權利要求1所述的一種基于報表工具的數據采集與處理方法，其特征在于，所述S2中數據上報采集包括以下步驟：

(1)、創建數據表：在數據庫中創建數據表；

(2)、數據上報：填報部門填寫數據上報，填報數據存入對應的數據庫表中，此時數據狀態為不可用；

(3)、數據審核：審核填報部門填寫的數據，通過則完成流程，修改數據狀態為可用；駁回則不修改數據狀態，填報部門需重新上報。

5.根據權利要求1所述的一種基于報表工具的數據采集與處理方法，其特征在于，所述S3中生成表格包括以下步驟：

(1)、使用ureprort2創建報表模板；

(2)、根據需求在報表模板的表格內配置數據，生成報表。

6.根據權利要求1所述的一種基于報表工具的數據采集與處理方法，其特征在于，所述取報表包括內容預覽、打印、導出。