[發(fā)明專利]一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法

在審

• 申請?zhí)枺?/td>: 201710545387.2
• 申請日: 2017-07-06
• 公開（公告）號: CN107329835A
• 公開（公告）日: 2017-11-07
• 發(fā)明（設(shè)計）人: 蔣步星
• 申請（專利權(quán)）人: 北京潤乾信息系統(tǒng)技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，步驟如下：

a.在列式存儲業(yè)務(wù)系統(tǒng)中，在文件最前面創(chuàng)建q(指列數(shù)，每個列對應(yīng)一個段索引區(qū))個固定長度的段索引區(qū)，這樣能保證后面的并行分段不會錯位，每一條記錄都是完整準(zhǔn)確的，下面的操作這q個段索引區(qū)文件同時同步進(jìn)行，保證記錄的完整性；

b.在文件每個段索引區(qū)中創(chuàng)建成n個記段的起始位置以及段長度的字段組；

c.文件在追加數(shù)據(jù)的過程中，假設(shè)初期字段組是每隔m個字段長度記一個段的起始位置，當(dāng)總字段數(shù)達(dá)到了m*n個時(n個字段組每個為m個字段長度)就把n個位置字段組的字段的信息兩兩同步(前奇數(shù)字段組和后偶數(shù)字段組)合并，這樣前n/2個字段組每個有2m個字段的信息，后n/2個字段組為空白；

d.然后后追加數(shù)據(jù)用后面n/2個空白字段組記，每個字段組長度為2m個字段，等后n/2個空白字段組的信息全部填滿后，再把n個位置字段組的字段的信息兩兩同步(前奇數(shù)字段組和后偶數(shù)字段組)合并成n/2個字段組，用這樣的方式進(jìn)行無限循環(huán)q個段索引區(qū)文件應(yīng)對無限追加數(shù)據(jù)；

e.當(dāng)要k線程并行處理業(yè)務(wù)文件時，把字段組按總數(shù)量(只算字段組里面有數(shù)據(jù)記的，空白的不算)平均分成k份，這樣每個線程處理的工作量就大體相當(dāng)了；

f.當(dāng)要從這個文件中找到第f段的起始位置時，查索引表直接知道具體位置。

2.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，創(chuàng)建的段索引區(qū)的最大長度必須固定，如果增加這個長度，就會要求已寫過的數(shù)據(jù)往后推，物理層面上就意味著全部重寫一遍，會導(dǎo)致數(shù)據(jù)維護(hù)的性能非常差。

3.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，總字段組數(shù)足夠大，就可以較平均的分配工作量。

4.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，指定段號就能立即找到該段的起始位置。

5.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，創(chuàng)建的段索引區(qū)放在文件的最前面。

6.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，適用于所有的數(shù)據(jù)追加情況下的平均分段方法。

7.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，每段數(shù)據(jù)量大體相當(dāng)，讓線程工作量相等。

8.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，想找到第f段的起始位置，查索引表直接知道具體位置。

9.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，段索引的作用是記錄每一段的開始位置，每段的容量，起到目錄的作用。

10.如權(quán)利要求1所述的一種基于“數(shù)據(jù)追加情況下的平均分段并行”的列式存儲并行方法，其特征在于，所述方法適用于所有的系統(tǒng)、平臺、軟件、編程語言中。