[發明專利]一種數據統計裝置及方法

無效

• 申請號: 200910160675.1
• 申請日: 2009-07-29
• 公開（公告）號: CN101620634A
• 公開（公告）日: 2010-01-06
• 發明（設計）人: 丁鉆平
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司
• 代理人: 郭潤湘

技術領域

本發明涉及數據庫操作領域，尤其涉及一種數據統計裝置及方法。

背景技術

目前許多使用大數據量數據庫的應用系統例如充值中心系統，由于數據量 十分龐大，統計起來比較費時，現有的做法是直接在數據庫內部進行統計，如 圖1所示，數據庫的內部統計模塊會將數據來源表中的數據進行統計生成統計 表，由于數據量龐大，統計的過程可能導致統計的數據來源表鎖表時間過長， 會直接影響到現網的充值業務功能，導致充值業務在數據庫的統計數據的過程 中呼損情況比較嚴重。現有的做法為了減少呼損，盡量在用戶較少進行充值操 作的夜間，對數據庫的數據進行統計，但這種做法，也存在統計的實時性較低 的問題。

發明內容

本發明實施例提供了一種數據統計裝置及方法，用以解決現有技術中存在 的在數據庫內部進行大數據量統計時，由于數據來源表鎖表時間較長，進而引 起的業務呼損嚴重和統計實時性較低的問題。

本發明實施例提供的一種數據統計裝置，用于在使用數據庫的應用系統執 行正常業務流程的過程中，對其數據庫的數據進行統計，包括：

導出模塊，用于將數據庫中數據來源表的內容導出并至數據庫外部預先定 義的外部文件中；

外部統計模塊，用于對外部文件中的數據進行統計，得到統計結果；

導入模塊，用于將所述統計結果導入至數據庫的統計表中。

本發明實施例提供的數據統計裝置，還包括：外部文件存儲模塊，用于存 儲所述外部文件。

所述導出模塊為sybase數據庫的bcp工具模塊或者Oracle數據庫的 UTL?FILE程序包模塊。

所述外部統計模塊，還用于對外部文件中的數據逐條進行掃描，在內存中 對掃描的數據逐條進行統計，得到統計結果。

所述外部統計模塊為shell語言程序模塊。

所述導入模塊為sybase數據庫的bcp工具模塊或者Oracle數據庫的SQL Loader工具模塊。

本發明實施例還提供了一種數據統計方法，用于在使用數據庫的應用系統 執行正常業務流程的過程中，對其數據庫的數據進行統計，包括：

將數據庫中數據來源表的內容導出至數據庫外部預先定義的外部文件中；

對外部文件中的數據進行統計，得到統計結果；

將所述統計結果導入至數據庫的統計表中。

當所述數據庫為sybase數據庫時，將數據來源表的內容導出至外部文件 中，包括：

使用sybase數據庫的bcp工具，對所述數據庫中數據來源表的內容進行復 制并存儲在所述外部文件中；

當所述數據庫為Oracle數據庫時，將數據來源表的內容導出至外部文件 中，包括：

使用Oracle數據庫的UTL_FILE程序包，將所述數據庫中數據來源表的內 容讀出再寫入至所述外部文件中。

所述對外部文件中的數據進行統計，得到統計結果，包括：

對外部文件中的數據逐條進行掃描；

在內存中對掃描的數據逐條進行統計，得到統計結果。

所述對外部文件中的數據進行統計，得到統計結果，通過shell語言實現。

本發明實施例的有益效果包括：

本發明實施例提供的數據統計裝置及方法，在使用數據庫的應用系統執行 正常業務流程的過程中，將數據庫的數據來源表的數據導出至數據庫外部預先 定義的外部文件中，對外部文件中的數據進行統計，得到統計結果，再將統計 結果導入值數據庫的統計表中，數據統計的過程主要在數據外部進行，而導入 和導出過程對數據庫的數據來源表和統計表的影響較小，避免了由于在數據庫 內部進行大數據量統計時，由于數據來源表的鎖表時間較長，引發的業務呼損 嚴重的問題，并且，由于數據統計的過程在數據庫外部進行，對數據庫正常的 業務影響較小，可以實現實時統計。

進一步地，本發明實施例中，外部統計模塊采用的shell語言實現，shell 語言的內部解釋器，能夠將外部統計模塊的各項功能，以命令的形式直接調入 內存，將其解釋為系統功能調用并交給內核執行。內核在內存中執行數據統計 的操作，因此執行速度很快，數據統計效率較高。