[發(fā)明專利]基于OLTP環(huán)境的統(tǒng)計表應(yīng)用方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 200710188104.X
• 申請日: 2007-11-09
• 公開（公告）號: CN101430687A
• 公開（公告）日: 2009-05-13
• 發(fā)明（設(shè)計）人: 趙林
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京挺立專利事務(wù)所
• 代理人: 皋吉甫

技術(shù)領(lǐng)域

本發(fā)明涉及計算機網(wǎng)絡(luò)應(yīng)用領(lǐng)域，尤其涉及一種基于OLTP環(huán)境的統(tǒng)計表應(yīng)用 方法及系統(tǒng)。

背景技術(shù)

計算機應(yīng)用早已涉足各領(lǐng)域，運用計算機網(wǎng)絡(luò)進(jìn)行電子商務(wù)以及進(jìn)行統(tǒng) 計表的應(yīng)用已是時代潮流。統(tǒng)計表是建立在對基表的統(tǒng)計基礎(chǔ)上的一個匯總 表，在OLTP(OnLineTransactionProcessing，聯(lián)機事務(wù)處理)的高可用的環(huán) 境下，基表數(shù)據(jù)量通常比較寵大，且數(shù)據(jù)還在不斷的發(fā)生著變化，統(tǒng)計表中 的記錄會根據(jù)相應(yīng)的原則進(jìn)行更新，以達(dá)到滿足應(yīng)用的訪問需求。統(tǒng)計表可 以方便快捷地獲取實時信息，并進(jìn)行實時監(jiān)控，由此對統(tǒng)計表應(yīng)用也提出了 更高的要求。

在OLTP的環(huán)境下，系統(tǒng)基表是基礎(chǔ)表，用于實際存儲特定數(shù)據(jù)庫的元 數(shù)據(jù)，用戶通常需要對一些記錄數(shù)比較多的基表按一定的規(guī)則實時進(jìn)行統(tǒng)計。 剛開始時，此統(tǒng)計策略可以滿足應(yīng)用的需求，性能也可以被接受，但隨著用 戶數(shù)的增加，網(wǎng)站訪問量成指數(shù)級的增長，該統(tǒng)計SQL(StructuredQuery Language，結(jié)構(gòu)化查詢語言)語句的執(zhí)行頻率也迅速升高。另外，平均每次 統(tǒng)計要掃描的記錄數(shù)不斷增加，因而導(dǎo)致單次執(zhí)行統(tǒng)計功能的SQL語句的平 均代價COST也在不斷增加。像大型電子商務(wù)網(wǎng)站，對于會員評價的統(tǒng)計， 這種統(tǒng)計在面對一些星級較高的用戶時，將變得異常困難。如果一個用戶的 評價數(shù)較多，那么其它一定數(shù)量的用戶同時來查看該用戶的評價展示頁面時 或者惡意刷新此評價頁面時，這時就出現(xiàn)了數(shù)據(jù)庫性能問題，用戶請求的頁 面長時間無法打開，用戶體驗不好。還有比如說要監(jiān)控用戶的異常登陸行為 次數(shù)，在遭受登陸攻擊的情況下，記錄用戶登陸操作行為的基表記錄數(shù)在短 時間就很有可能達(dá)到十萬的水平，那么此時即時判斷用戶登陸是否正常的統(tǒng) 計SQL執(zhí)行將會越來越慢，數(shù)據(jù)庫服務(wù)器隊列越來越長，應(yīng)用服務(wù)器因不能 快速得到數(shù)據(jù)庫的返回結(jié)果，導(dǎo)致連接池隊列變深，最終導(dǎo)致應(yīng)用服務(wù)器 crash。所以傳統(tǒng)的采用直接對基表實時進(jìn)行統(tǒng)計的方法，越來越不能滿足業(yè) 務(wù)發(fā)展的需要，這種統(tǒng)計方式迫切需要改變。

現(xiàn)有技術(shù)中OLTP有一個顯著的特點，就是SQL語句的執(zhí)行非常頻繁， 而有些SQL語句則是完成統(tǒng)計功能的語句，這些語句的特點是：a.耗CPU (CentralProcessingUnit，中央處理器)b.邏輯讀或者物理讀特別高，如果這 一類的語句執(zhí)行達(dá)到一定頻率后，就會使數(shù)據(jù)庫系統(tǒng)的性能下降，進(jìn)而導(dǎo)致 應(yīng)用系統(tǒng)響應(yīng)客戶請求變慢。

在OLTP的環(huán)境里，用戶不可避免的要面對較高的訪問量pageview。如 上所述，采用直接對基表實時進(jìn)行統(tǒng)計的數(shù)據(jù)庫系統(tǒng)由于消耗了大量的CPU 和較高的邏輯讀或者物理讀，而使數(shù)據(jù)庫服務(wù)器的負(fù)載居高不下。而且采這 種方法的還有一個比較大的缺點是：系統(tǒng)抗攻擊能力弱，對于大型電子商務(wù) 網(wǎng)站來說，如果用戶頻繁刷新統(tǒng)計頁面，或者不斷惡意登陸，都會使數(shù)據(jù)庫 系統(tǒng)迅速出現(xiàn)性能問題，降低了整個業(yè)務(wù)系統(tǒng)的可靠性與連續(xù)性。

發(fā)明內(nèi)容

本發(fā)明提供一種基于OLTP環(huán)境的統(tǒng)計表應(yīng)用方法及系統(tǒng)，以提高整個 業(yè)務(wù)系統(tǒng)的可靠性與連續(xù)性，給用戶優(yōu)質(zhì)的體驗。

為達(dá)到上述目的，本發(fā)明提供了一種基于OLTP環(huán)境的統(tǒng)計表應(yīng)用方法， 包括以下步驟：

應(yīng)用服務(wù)器查詢數(shù)據(jù)庫；

根據(jù)所述統(tǒng)計記錄的關(guān)鍵字在統(tǒng)計表中查詢統(tǒng)計記錄，如果統(tǒng)計記錄存 在且沒有過期，則將所述統(tǒng)計記錄返回給用戶；如果沒有統(tǒng)計記錄或統(tǒng)計記 錄已過期，則調(diào)用SQL語句對基表進(jìn)行掃描，重新獲取統(tǒng)計記錄。

所述應(yīng)用服務(wù)器查詢數(shù)據(jù)庫之前還包括：

判斷所述統(tǒng)計記錄是否存在于應(yīng)用服務(wù)器的緩存中，如果是且沒有過期， 則直接返回給用戶；如果沒有在緩存中或已過期，則進(jìn)行統(tǒng)計表查詢。

通過設(shè)置在所述應(yīng)用服務(wù)器的緩存中與統(tǒng)計記錄關(guān)鍵字對應(yīng)的時間過期 標(biāo)志判斷是否過期。

還包括：

預(yù)先在統(tǒng)計表中設(shè)置與所述統(tǒng)計記錄關(guān)鍵字對應(yīng)的時間過期標(biāo)志。

所述調(diào)用SQL語句對基表進(jìn)行掃描，重新計算統(tǒng)計之后還包括：

將計算結(jié)果插入或更新到所述統(tǒng)計表，并緩存到應(yīng)用服務(wù)器。

本發(fā)明還提供了一種基于OLTP環(huán)境的統(tǒng)計表應(yīng)用系統(tǒng)，包括：

應(yīng)用服務(wù)器，用于查詢數(shù)據(jù)庫，并將查詢結(jié)果返回客戶端；