[發明專利]一種多元化大數據統計報告自動生成方法、系統及可讀介質

在審

• 申請號: 202011557896.5
• 申請日: 2020-12-25
• 公開（公告）號: CN112667469A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 曹遠;龐辛酉;羅靜;張培
• 申請（專利權）人: 通號智慧城市研究設計院有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/17;G06F16/25
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 趙悅

本發明涉及一種多元化大數據統計報告自動生成方法、系統及可讀介質，包括以下步驟：S1對數據源中的數據進行掃描，并根據數據重要性將數據分為關鍵數據和非關鍵數據，對于關鍵數據生成日志，對于非關鍵數據進行物理化備份；S2對數據源中的數據進行實時監控或周期性監控，若發現數據異常則向用戶發出警報，同時暫停數據處理過程，并將經過步驟S1處理的數據存儲至目標數據庫；S3提取目標數據庫中的數據，并對其進行分類，根據不同的數據類別對數據進行分析處理；S4將經過步驟S3分析處理的數據填入統計報告模板中的對應項，從而生成統計報告。其操作簡單，成本較低，計算量較小，能夠快速準確的生成統計報告。

技術領域

本發明涉及一種多元化大數據統計報告自動生成方法、系統及可讀介質，屬于數據處理技術領域。

背景技術

很多企業、機構或個人經常會在做輔助公司或領導決策的統計報告，因為整體業務不熟，不知道一個統計報告需由哪些統計內容構成，以及如何安排統計要素之間的關系、計算公式、報告樣式。傳統企業完成這項工作，通常會使用Excel表寫出復雜的運算公式，來進行數據統計工作。在面對小數據的情況下，雖然可能過程繁瑣，但還能基本勝任。而如果是基于大數據的復雜運算統計報告，那么使用傳統的Excel表將無法完成繁重的數據處理任務。

這些事務在大型企業里可以通過購買昂貴的BI展示服務來獲得，但是BI展示服務價格昂貴，其功能雖然很全面，但是很多功能并不是每次統計都需要的，從而造成一定程度的浪費。

發明內容

針對上述問題，本發明的目的是提供了一種多元化大數據統計報告自動生成方法、系統和可讀介質，其操作簡單，成本較低，計算量相對較小，可以快速、準確、個性化的生成統計報告。

為實現上述目的，本發明采取以下技術方案：一種多元化大數據統計報告自動生成方法，包括以下步驟：S1對數據源中的數據進行掃描，并根據數據重要性將數據分為關鍵數據和非關鍵數據，對于關鍵數據生成日志，對于非關鍵數據進行物理化備份；S2對數據源中的數據進行實時監控或周期性監控，若發現數據異常則向用戶發出警報，同時暫停數據處理過程，并將經過步驟S1處理的數據存儲至目標數據庫；S3提取目標數據庫中的數據，并對其進行分類，根據不同的數據類別對數據進行分析處理；S4將經過步驟S3分析處理的數據填入統計報告模板中的對應項，從而生成統計報告。

進一步，步驟S2中存儲至目標數據庫中的數據包括：業務數據、日志數據和文件數據。

進一步，步驟S3中將目標數據庫的數據分為關系型數據、非關系數據和附件型數據三類。

進一步，對于關系型數據在分析時直接通過經過訓練的結構化查詢語句進行查詢，并將查詢的結果進行提取。

進一步，對于非關系型數據在分析時，將其進一步分為需要計算的數據和不需要計算的數據兩類，對于不需要計算的數據直接從Hbase數據庫的調用接口查詢并提取數據；對于需要計算的數據采用spark進行分布式計算。

進一步，步驟S1中對數據源中的數據進行掃描，采用非觸發周期性掃描方式，依據數據源端的修改時間、數據大小、日志記錄或操作記錄變化標識確認數據發生變化繼而進行操作。

進一步，步驟S1中生成的日志采用數據作業日志映射即時文本錄入和數據表概括描述兩種方式，并且將數據源中生成的日志與數據在分析處理過程中產生的日志分開，物理化備份采用增量數據留存和定期數據文件壓縮兩種方式。

進一步，步驟S3中采用數據增量采集、全量加載和數據拉鏈線性歷史記錄三種方式提取目標數據庫中的數據。