[發(fā)明專利]一種數(shù)據(jù)統(tǒng)計裝置及方法

無效

• 申請?zhí)枺?/td>: 200910160675.1
• 申請日: 2009-07-29
• 公開（公告）號: CN101620634A
• 公開（公告）日: 2010-01-06
• 發(fā)明（設(shè)計）人: 丁鉆平
• 申請（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司
• 代理人: 郭潤湘

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫操作領(lǐng)域，尤其涉及一種數(shù)據(jù)統(tǒng)計裝置及方法。

背景技術(shù)

目前許多使用大數(shù)據(jù)量數(shù)據(jù)庫的應(yīng)用系統(tǒng)例如充值中心系統(tǒng)，由于數(shù)據(jù)量 十分龐大，統(tǒng)計起來比較費時，現(xiàn)有的做法是直接在數(shù)據(jù)庫內(nèi)部進行統(tǒng)計，如 圖1所示，數(shù)據(jù)庫的內(nèi)部統(tǒng)計模塊會將數(shù)據(jù)來源表中的數(shù)據(jù)進行統(tǒng)計生成統(tǒng)計 表，由于數(shù)據(jù)量龐大，統(tǒng)計的過程可能導(dǎo)致統(tǒng)計的數(shù)據(jù)來源表鎖表時間過長， 會直接影響到現(xiàn)網(wǎng)的充值業(yè)務(wù)功能，導(dǎo)致充值業(yè)務(wù)在數(shù)據(jù)庫的統(tǒng)計數(shù)據(jù)的過程 中呼損情況比較嚴(yán)重。現(xiàn)有的做法為了減少呼損，盡量在用戶較少進行充值操 作的夜間，對數(shù)據(jù)庫的數(shù)據(jù)進行統(tǒng)計，但這種做法，也存在統(tǒng)計的實時性較低 的問題。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)統(tǒng)計裝置及方法，用以解決現(xiàn)有技術(shù)中存在 的在數(shù)據(jù)庫內(nèi)部進行大數(shù)據(jù)量統(tǒng)計時，由于數(shù)據(jù)來源表鎖表時間較長，進而引 起的業(yè)務(wù)呼損嚴(yán)重和統(tǒng)計實時性較低的問題。

本發(fā)明實施例提供的一種數(shù)據(jù)統(tǒng)計裝置，用于在使用數(shù)據(jù)庫的應(yīng)用系統(tǒng)執(zhí) 行正常業(yè)務(wù)流程的過程中，對其數(shù)據(jù)庫的數(shù)據(jù)進行統(tǒng)計，包括：

導(dǎo)出模塊，用于將數(shù)據(jù)庫中數(shù)據(jù)來源表的內(nèi)容導(dǎo)出并至數(shù)據(jù)庫外部預(yù)先定 義的外部文件中；

外部統(tǒng)計模塊，用于對外部文件中的數(shù)據(jù)進行統(tǒng)計，得到統(tǒng)計結(jié)果；

導(dǎo)入模塊，用于將所述統(tǒng)計結(jié)果導(dǎo)入至數(shù)據(jù)庫的統(tǒng)計表中。

本發(fā)明實施例提供的數(shù)據(jù)統(tǒng)計裝置，還包括：外部文件存儲模塊，用于存 儲所述外部文件。

所述導(dǎo)出模塊為sybase數(shù)據(jù)庫的bcp工具模塊或者Oracle數(shù)據(jù)庫的 UTL?FILE程序包模塊。

所述外部統(tǒng)計模塊，還用于對外部文件中的數(shù)據(jù)逐條進行掃描，在內(nèi)存中 對掃描的數(shù)據(jù)逐條進行統(tǒng)計，得到統(tǒng)計結(jié)果。

所述外部統(tǒng)計模塊為shell語言程序模塊。

所述導(dǎo)入模塊為sybase數(shù)據(jù)庫的bcp工具模塊或者Oracle數(shù)據(jù)庫的SQL Loader工具模塊。

本發(fā)明實施例還提供了一種數(shù)據(jù)統(tǒng)計方法，用于在使用數(shù)據(jù)庫的應(yīng)用系統(tǒng) 執(zhí)行正常業(yè)務(wù)流程的過程中，對其數(shù)據(jù)庫的數(shù)據(jù)進行統(tǒng)計，包括：

將數(shù)據(jù)庫中數(shù)據(jù)來源表的內(nèi)容導(dǎo)出至數(shù)據(jù)庫外部預(yù)先定義的外部文件中；

對外部文件中的數(shù)據(jù)進行統(tǒng)計，得到統(tǒng)計結(jié)果；

將所述統(tǒng)計結(jié)果導(dǎo)入至數(shù)據(jù)庫的統(tǒng)計表中。

當(dāng)所述數(shù)據(jù)庫為sybase數(shù)據(jù)庫時，將數(shù)據(jù)來源表的內(nèi)容導(dǎo)出至外部文件 中，包括：

使用sybase數(shù)據(jù)庫的bcp工具，對所述數(shù)據(jù)庫中數(shù)據(jù)來源表的內(nèi)容進行復(fù) 制并存儲在所述外部文件中；

當(dāng)所述數(shù)據(jù)庫為Oracle數(shù)據(jù)庫時，將數(shù)據(jù)來源表的內(nèi)容導(dǎo)出至外部文件 中，包括：

使用Oracle數(shù)據(jù)庫的UTL_FILE程序包，將所述數(shù)據(jù)庫中數(shù)據(jù)來源表的內(nèi) 容讀出再寫入至所述外部文件中。

所述對外部文件中的數(shù)據(jù)進行統(tǒng)計，得到統(tǒng)計結(jié)果，包括：

對外部文件中的數(shù)據(jù)逐條進行掃描；

在內(nèi)存中對掃描的數(shù)據(jù)逐條進行統(tǒng)計，得到統(tǒng)計結(jié)果。

所述對外部文件中的數(shù)據(jù)進行統(tǒng)計，得到統(tǒng)計結(jié)果，通過shell語言實現(xiàn)。

本發(fā)明實施例的有益效果包括：

本發(fā)明實施例提供的數(shù)據(jù)統(tǒng)計裝置及方法，在使用數(shù)據(jù)庫的應(yīng)用系統(tǒng)執(zhí)行 正常業(yè)務(wù)流程的過程中，將數(shù)據(jù)庫的數(shù)據(jù)來源表的數(shù)據(jù)導(dǎo)出至數(shù)據(jù)庫外部預(yù)先 定義的外部文件中，對外部文件中的數(shù)據(jù)進行統(tǒng)計，得到統(tǒng)計結(jié)果，再將統(tǒng)計 結(jié)果導(dǎo)入值數(shù)據(jù)庫的統(tǒng)計表中，數(shù)據(jù)統(tǒng)計的過程主要在數(shù)據(jù)外部進行，而導(dǎo)入 和導(dǎo)出過程對數(shù)據(jù)庫的數(shù)據(jù)來源表和統(tǒng)計表的影響較小，避免了由于在數(shù)據(jù)庫 內(nèi)部進行大數(shù)據(jù)量統(tǒng)計時，由于數(shù)據(jù)來源表的鎖表時間較長，引發(fā)的業(yè)務(wù)呼損 嚴(yán)重的問題，并且，由于數(shù)據(jù)統(tǒng)計的過程在數(shù)據(jù)庫外部進行，對數(shù)據(jù)庫正常的 業(yè)務(wù)影響較小，可以實現(xiàn)實時統(tǒng)計。

進一步地，本發(fā)明實施例中，外部統(tǒng)計模塊采用的shell語言實現(xiàn)，shell 語言的內(nèi)部解釋器，能夠?qū)⑼獠拷y(tǒng)計模塊的各項功能，以命令的形式直接調(diào)入 內(nèi)存，將其解釋為系統(tǒng)功能調(diào)用并交給內(nèi)核執(zhí)行。內(nèi)核在內(nèi)存中執(zhí)行數(shù)據(jù)統(tǒng)計 的操作，因此執(zhí)行速度很快，數(shù)據(jù)統(tǒng)計效率較高。