[發(fā)明專(zhuān)利]一種網(wǎng)管海量歷史數(shù)據(jù)管理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210401421.6
• 申請(qǐng)日: 2012-10-19
• 公開(kāi)（公告）號(hào): CN102867071A
• 公開(kāi)（公告）日: 2013-01-09
• 發(fā)明（設(shè)計(jì)）人: 鄒昊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 烽火通信科技股份有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京捷誠(chéng)信通專(zhuān)利事務(wù)所(普通合伙) 11221
• 代理人: 魏殿紳;龐炳良

1.一種網(wǎng)管海量歷史數(shù)據(jù)管理方法，其特征在于：通過(guò)二級(jí)分表規(guī)則實(shí)現(xiàn)數(shù)據(jù)庫(kù)分表，把保存有網(wǎng)管海量歷史數(shù)據(jù)的單個(gè)表保存的數(shù)據(jù)，切分后保存到多個(gè)結(jié)構(gòu)相同的分表中，減少單表的容量，從而提高單表的處理效率，并對(duì)各個(gè)分表進(jìn)行以下管理：

A歷史數(shù)據(jù)分表管理，B歷史數(shù)據(jù)插入管理，C歷史數(shù)據(jù)查詢管理，D歷史數(shù)據(jù)轉(zhuǎn)移管理。

2.如權(quán)利要求1所述的網(wǎng)管海量歷史數(shù)據(jù)管理方法，其特征在于：二級(jí)分表規(guī)則用xml格式的文件紀(jì)錄，其中：

歷史數(shù)據(jù)類(lèi)型data_type，表示數(shù)據(jù)表保存數(shù)據(jù)的類(lèi)型，

分組總數(shù)group_count，表示對(duì)這種數(shù)據(jù)表分組的總數(shù)，

分組內(nèi)分表總數(shù)split_count，表示每個(gè)分組內(nèi)分表數(shù)最大值，

分表內(nèi)行總數(shù)row_count，表示分表內(nèi)行總數(shù)，當(dāng)一個(gè)分表的數(shù)據(jù)量超過(guò)這個(gè)值的時(shí)候，就需要?jiǎng)?chuàng)建一個(gè)新的分表。

3.如權(quán)利要求2所述的網(wǎng)管海量歷史數(shù)據(jù)管理方法，其特征在于，所述歷史數(shù)據(jù)分表管理的處理流程包括以下步驟：

A1、讀取記載有數(shù)據(jù)表的二級(jí)分表規(guī)則的文件，獲取歷史數(shù)據(jù)類(lèi)型data_type、分組總數(shù)group_count、分組內(nèi)分表總數(shù)split_count和分表內(nèi)行總數(shù)row_count；

讀取數(shù)據(jù)庫(kù)分表信息表，獲取所有分表的分組號(hào)group_no、分表序號(hào)table_no、當(dāng)前正在使用標(biāo)記current_flag和已使用標(biāo)記in_use_flag，將這些信息保存到一個(gè)分組號(hào)為鍵，分表信息列表為值的map對(duì)象中，所述分表信息列表包括分表序號(hào)table_no、當(dāng)前正在使用標(biāo)記current_flag和已使用標(biāo)記in_use_flag，其中map的鍵的取值范圍從1到分組總數(shù)group_count，如果在數(shù)據(jù)庫(kù)分表信息表中沒(méi)有某個(gè)鍵對(duì)應(yīng)的分表信息，那么在map中該鍵對(duì)應(yīng)的分表信息列表就為空；

A2、遍歷A1得到的map對(duì)象；

A3、根據(jù)遍歷的結(jié)果，如果map對(duì)象中當(dāng)前分組號(hào)對(duì)應(yīng)的分表信息列表為空，則轉(zhuǎn)至步驟A4，否則，轉(zhuǎn)至步驟A5；

A4、在當(dāng)前分組號(hào)的分組中創(chuàng)建一個(gè)可用的分表，分配分表序號(hào)為1，設(shè)置分表當(dāng)前正在使用標(biāo)記為1，已使用標(biāo)記為1，將該分表的信息插入數(shù)據(jù)庫(kù)分表信息表后轉(zhuǎn)至步驟A5；

A5、將數(shù)據(jù)庫(kù)分表信息表中記載的分表信息，按分組號(hào)為鍵，逐條插入到分組分表信息緩存中，該緩存用于記錄所有分組中已創(chuàng)建的分表的信息，

將當(dāng)前正在使用標(biāo)記為1的分表信息，按分組號(hào)為鍵，將分表序號(hào)插入分組當(dāng)前分表序號(hào)緩存，該緩存記錄每個(gè)分組中current_flag為1的分表的分表序號(hào)，轉(zhuǎn)步驟A6；

分組當(dāng)前分表序號(hào)緩存內(nèi)的分表，需要檢查其是否超過(guò)分表內(nèi)行總數(shù)；

A6、使用定時(shí)器并等待，如果定時(shí)器未超時(shí)則一直等待，當(dāng)定時(shí)器超時(shí)后，如果接收到應(yīng)用程序退出的信號(hào)，則退出歷史數(shù)據(jù)分表管理的處理流程；否則，轉(zhuǎn)入步驟A7；

A7、遍歷分組當(dāng)前分表序號(hào)緩存，如果未遍歷完則轉(zhuǎn)步驟A8，若遍歷完則轉(zhuǎn)步驟A6；

A8、讀取當(dāng)前分組中分表序號(hào)，根據(jù)當(dāng)前分組的組號(hào)和分表序號(hào)構(gòu)造分表的名稱(chēng)，獲取分表數(shù)據(jù)行數(shù)；

A9、如果分表數(shù)據(jù)行數(shù)大于分表規(guī)則中分表內(nèi)行總數(shù)row_count，則轉(zhuǎn)步驟A10、否則轉(zhuǎn)步驟A7；

A10、創(chuàng)建新分表，新分表的分表序號(hào)為分表所在分組中原來(lái)current_flag為1的分表的分表序號(hào)值加上1，然后在數(shù)據(jù)庫(kù)分表信息表中插入該新分表的信息，并將該新分表的信息插入到分組分表信息緩存中，然后將分組當(dāng)前分表序號(hào)緩存中的當(dāng)前分組對(duì)應(yīng)的分表序號(hào)改為新分表的分表序號(hào)；

A11、判斷當(dāng)前分組中分表總個(gè)數(shù)是否大于分組內(nèi)分表總數(shù)split_count，如果大于則轉(zhuǎn)步驟A12，如果小于則轉(zhuǎn)步驟A7；

A12、更新數(shù)據(jù)庫(kù)分表信息表中該分組內(nèi)分表序號(hào)最小分表的已使用標(biāo)記in_use_flag為0,標(biāo)識(shí)該分表不會(huì)在數(shù)據(jù)插入和查詢中使用，并將被歷史數(shù)據(jù)轉(zhuǎn)移管理流程處理，并從分組分表信息緩存中刪除該分表的記錄，轉(zhuǎn)步驟A11。