[發明專利]一種基于采集數據統計以及前臺展現的方法

在審

• 申請號: 201410564773.2
• 申請日: 2014-10-22
• 公開（公告）號: CN104361022A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 何嘉;王傳超;徐宏偉
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及計算機應用領域,具體地說是一種基于采集數據統計以及前臺展現的方法。本方案適用于對數據的統計、分析和對客戶的展現，涉及到Oracle數據庫。

背景技術

隨著數據量的增長，對數據的整理、查詢、統計分析的需求增加，大數據應用的發展，數據庫面臨的壓力和挑戰與日俱增。隨之而來的是，如何讓所管理的數據庫能承受因需求增長而帶來的壓力，以及如何能更好地管理數據庫，更好地優化等等這方面工作已經成為大數據中最棘手的問題。以Oracle數據庫為例，如今面臨CPU瓶頸、較小的內存、I/O吞吐能力差、時常短暫的性能下降等問題，在程序方面，應用程序和頁面實時展示方面都面臨瓶頸。在此背景之下，該方案能夠解決針對數據量大、分項種類多的統計以及展現時間長、速度慢的問題。

發明內容

本發明的目的是提供一種基于采集數據統計以及前臺展現的方法。

本發明的目的是按以下方式實現的，數據采集主要是通過對數據庫配置后，對各個網站的采集程序進行定時操作，包括對軟件登錄、軟件中各個模塊的數據采集并清洗，程序將數據采集清洗后，數據庫定時任務會按時將數據進行分類匯總并生成相關表，確保在統計查詢時能夠及時響應頁面并給與反饋，提供詳細的數據分析報表和圖表，具體步驟如下：

1）配置數據庫：通過配置jdbc連接數據庫，創建索引專用的表空間，根據系統用戶數量、用戶并發量，調整表空間大小、數據庫processes和sessions值，同時需注意表空間不宜一次創建過大，可根據磁盤可用空間與數據量增長速度進行估算，設置自動擴展空間；

2）創建字段索引：根據查詢、統計條件創建字段索引，并將索引創建在專用表空間中；

3）數據采集：通過手工方式或定時任務TimeTask來進行對各個網站的信息進行數據采集，并將采集的數據保存在Temp臨時表中；

4）數據清洗：使用SQL腳本對采集的數據進行數據清洗，主要包括格式、冗余數據、異常數據的整理，并將整理后的數據進行分類儲存；

5）頁面展示：前臺頁面可通過查詢功能對應的表進行快速的展現，解決了報表生成時間長、速度慢，同時對數據庫的I/O壓力有所減輕。

本發明的有益效果是：該技術適用于后臺數據的頁面展現。目前，在大數據、云計算的廣泛應用下，服務器采集的數據都需要對各種類型、區域、行業、時間等眾多條件進行種種分類，加大了對數據庫的查詢量，如有更加模糊的查詢條件會對數據庫造成無法估計的影響，這就需要大量的人工和硬件配置來支撐該操作。通過該數據統計的方法，可減輕數據庫的統計壓力以及人工的工作量，又可避免因操作問題造成對工作以及硬件的影響。

附圖說明

圖1是本發明的原理圖；

圖2是系統結構示意圖；

圖3是系統流程圖。?

具體實施方式

參照說明書附圖對本發明的方法作以下詳細地說明。

數據采集主要是通過對數據庫配置后，對各個網站的采集程序進行定時操作，包括對軟件登錄、軟件中各個模塊的數據采集并清洗等。

程序將數據采集清洗后，數據庫定時任務會按時將數據進行分類匯總并生成相關表，確保在統計查詢時能夠及時響應頁面并給與反饋，提供詳細的數據分析報表和圖表。具體步驟如下：

1）配置數據庫：通過配置jdbc連接數據庫，創建索引專用的表空間，調整表空間大小、數據庫processes和sessions值（根據系統用戶數量、用戶并發量），同時需注意表空間不宜一次創建過大，可根據磁盤可用空間與數據量增長速度進行估算，設置自動擴展空間；

2）創建字段索引：根據查詢、統計條件創建字段索引，并將索引創建在專用表空間中；

3）數據采集：通過手工方式或定時任務TimeTask來進行對各個網站的信息進行數據采集，并將采集的數據保存在Temp臨時表中；

4）數據清洗：使用SQL腳本對采集的數據進行數據清洗，主要包括格式、冗余數據、異常數據等整理，并將整理后的數據進行分類儲存；

5）頁面展示：前臺頁面可通過查詢功能對應的表進行快速的展現，解決了報表生成時間長、速度慢，同時對數據庫的I/O壓力有所減輕。

實施例

第一步，通過jdbc連接數據庫，配置數據庫相關參數、創建索引表空間。根據查詢、統計條件在相關表中建立字段索引。

第二步，?通過采集系統對各個網站的信息進行數據采集，并將采集后的數據通過jdbc連接存儲到數據庫臨時表中。