[發(fā)明專利]一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201310516972.1
• 申請日: 2013-10-25
• 公開（公告）號: CN103617171A
• 公開（公告）日: 2014-03-05
• 發(fā)明（設(shè)計）人: 陳穎;黃少偉;汪國武;胡平
• 申請（專利權(quán)）人: 蕪湖大學科技園發(fā)展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 安徽合肥華信知識產(chǎn)權(quán)代理有限公司 34112
• 代理人: 余成俊

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)查詢系統(tǒng)領(lǐng)域，具體為一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)。

背景技術(shù)

對于電力企業(yè)源源不斷地產(chǎn)生的大量數(shù)據(jù)，需要先寫入數(shù)據(jù)庫，這樣才方便進行查詢和統(tǒng)計。全部寫入數(shù)據(jù)庫再查詢，由于數(shù)據(jù)量過大，響應(yīng)時間難以滿足系統(tǒng)需求。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，以解決現(xiàn)有技術(shù)存在的問題。

為了達到上述目的，本發(fā)明所采用的技術(shù)方案為：

一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于：構(gòu)建有元數(shù)據(jù)容器、數(shù)據(jù)變化觸發(fā)器、元數(shù)據(jù)輸出模塊、數(shù)據(jù)庫、查詢統(tǒng)計模塊，所述元數(shù)據(jù)容器包含多批電力元數(shù)據(jù)，元數(shù)據(jù)容器中元數(shù)據(jù)經(jīng)過數(shù)據(jù)變化觸發(fā)器送入元數(shù)據(jù)輸出模塊，元數(shù)據(jù)輸出模塊將元數(shù)據(jù)輸出至數(shù)據(jù)庫，由數(shù)據(jù)庫存儲，所述查詢統(tǒng)計模塊提取數(shù)據(jù)庫中元數(shù)據(jù)，其中：所述數(shù)據(jù)變化觸發(fā)器接收元數(shù)據(jù)容器中的元數(shù)據(jù)，當一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)相同時或變化很小而可以忽略時，數(shù)據(jù)變化觸發(fā)器不會觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫時，數(shù)據(jù)庫不保存送入的元數(shù)據(jù)；當一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)有顯著變化時，數(shù)據(jù)變化觸發(fā)器被觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫時，數(shù)據(jù)庫保存該批元數(shù)據(jù)相對于上一批元數(shù)據(jù)的增量。

所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于：元數(shù)據(jù)容器中某批電力元數(shù)據(jù)經(jīng)數(shù)據(jù)變化觸發(fā)器后，數(shù)據(jù)變化觸發(fā)器中只會產(chǎn)生相對于上一批元數(shù)據(jù)的增量數(shù)據(jù)，最終只會把增量數(shù)據(jù)保存到數(shù)據(jù)庫中，稱之為數(shù)據(jù)增量保存。

所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于：所述的元數(shù)據(jù)輸出模塊是一個通用的元數(shù)據(jù)導(dǎo)出模塊，元數(shù)據(jù)輸出模塊取出元數(shù)據(jù)取出后，只對元數(shù)據(jù)作字符串處理，并不涉及數(shù)據(jù)的合法性檢查。

所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于：所述查詢統(tǒng)計模塊支持對增量數(shù)據(jù)的查詢和統(tǒng)計。

所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于：所述元數(shù)據(jù)輸出模塊，在執(zhí)行輸出數(shù)據(jù)到數(shù)據(jù)庫的同時保存輸出數(shù)據(jù)的庫結(jié)構(gòu)，便于查詢統(tǒng)計模塊獲取庫結(jié)構(gòu)。

所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于：所述的查詢統(tǒng)計模塊，需要從元數(shù)據(jù)輸出模塊產(chǎn)生的配置文件中獲取數(shù)據(jù)庫的結(jié)構(gòu)。

本發(fā)明與現(xiàn)有的技術(shù)相比，具有如下優(yōu)點：

（1）采用了數(shù)據(jù)變化觸發(fā)器，加快查詢速度。對于電網(wǎng)中如電壓等數(shù)據(jù)都是在一定范圍內(nèi)波動，多數(shù)情況下變化不大。采用了數(shù)據(jù)變化觸發(fā)器，減少了時間相鄰的數(shù)據(jù)中相同數(shù)據(jù)的輸出，只保留增量數(shù)據(jù)到數(shù)據(jù)庫，減少了查詢數(shù)據(jù)量，提高了查詢速度。

（2）采用了數(shù)據(jù)增量保存，加快查詢速度。采用了數(shù)據(jù)變化觸發(fā)器，經(jīng)過觸發(fā)器的數(shù)據(jù)，只保存與前批數(shù)據(jù)變換的部分，即只保留增量數(shù)據(jù)到數(shù)據(jù)庫，減少了查詢數(shù)據(jù)量，提高了查詢速度。

（3）采用配置文件保存表結(jié)構(gòu)，增加靈活性。在數(shù)據(jù)輸出模塊中執(zhí)行輸出到數(shù)據(jù)庫的同時，將數(shù)據(jù)庫的結(jié)構(gòu)保存到配置文件，為后續(xù)的查詢統(tǒng)計模塊提供了數(shù)據(jù)庫的結(jié)構(gòu)，這樣即使元數(shù)據(jù)的結(jié)構(gòu)發(fā)生變化也不會影響查詢統(tǒng)計模塊的正確運行。

附圖說明

圖1為本發(fā)明系統(tǒng)框架結(jié)構(gòu)圖。

具體實施方式

如圖1所示。一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，構(gòu)建有元數(shù)據(jù)容器、數(shù)據(jù)變化觸發(fā)器、元數(shù)據(jù)輸出模塊、數(shù)據(jù)庫、查詢統(tǒng)計模塊，所述元數(shù)據(jù)容器包含多批電力元數(shù)據(jù)，元數(shù)據(jù)容器中元數(shù)據(jù)經(jīng)過數(shù)據(jù)變化觸發(fā)器送入元數(shù)據(jù)輸出模塊，元數(shù)據(jù)輸出模塊將元數(shù)據(jù)輸出至數(shù)據(jù)庫，由數(shù)據(jù)庫存儲，查詢統(tǒng)計模塊提取數(shù)據(jù)庫中元數(shù)據(jù)，其中：數(shù)據(jù)變化觸發(fā)器接收元數(shù)據(jù)容器中的元數(shù)據(jù)，當一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)相同時或變化很小而可以忽略時，數(shù)據(jù)變化觸發(fā)器不會觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫時，數(shù)據(jù)庫不保存送入的元數(shù)據(jù)；當一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)有顯著變化時，數(shù)據(jù)變化觸發(fā)器被觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫時，數(shù)據(jù)庫保存該批元數(shù)據(jù)相對于上一批元數(shù)據(jù)的增量。

元數(shù)據(jù)容器中某批電力元數(shù)據(jù)經(jīng)數(shù)據(jù)變化觸發(fā)器后，數(shù)據(jù)變化觸發(fā)器中只會產(chǎn)生相對于上一批元數(shù)據(jù)的增量數(shù)據(jù)，最終只會把增量數(shù)據(jù)保存到數(shù)據(jù)庫中，稱之為數(shù)據(jù)增量保存。

元數(shù)據(jù)輸出模塊是一個通用的元數(shù)據(jù)導(dǎo)出模塊，元數(shù)據(jù)輸出模塊取出元數(shù)據(jù)取出后，只對元數(shù)據(jù)作字符串處理，并不涉及數(shù)據(jù)的合法性檢查。

查詢統(tǒng)計模塊支持對增量數(shù)據(jù)的查詢和統(tǒng)計。

元數(shù)據(jù)輸出模塊，在執(zhí)行輸出數(shù)據(jù)到數(shù)據(jù)庫的同時保存輸出數(shù)據(jù)的庫結(jié)構(gòu)，便于查詢統(tǒng)計模塊獲取庫結(jié)構(gòu)。