[發(fā)明專利]一種基于格式數(shù)據(jù)集的分布式數(shù)據(jù)存儲(chǔ)與計(jì)算方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310752910.0
• 申請(qǐng)日: 2013-12-31
• 公開（公告）號(hào): CN103678716B
• 公開（公告）日: 2017-01-04
• 發(fā)明（設(shè)計(jì)）人: 鄒瑜斌;張昕;胡斌;須成忠;張帆;穆德全
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院深圳先進(jìn)技術(shù)研究院;深圳市易行網(wǎng)交通科技有限公司;中科文訊科技(深圳)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44316
• 代理人: 沈祖鋒,郝明琴

1.一種基于格式數(shù)據(jù)集的分布式數(shù)據(jù)存儲(chǔ)與計(jì)算方法，用于快速執(zhí)行統(tǒng)計(jì)計(jì)算，其特征在于，包括：?

將計(jì)算統(tǒng)計(jì)的過濾條件轉(zhuǎn)換為一個(gè)規(guī)則集；?

根據(jù)所述規(guī)則集，將原始無序的數(shù)據(jù)記錄轉(zhuǎn)換為格式數(shù)據(jù)集；?

將轉(zhuǎn)換后的格式數(shù)據(jù)集進(jìn)行存儲(chǔ)；?

基于存儲(chǔ)的格式數(shù)據(jù)集，執(zhí)行統(tǒng)計(jì)計(jì)算。?

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述過濾條件包括不同記錄條件的點(diǎn)過濾條件和范圍過濾條件。?

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將原始無序的數(shù)據(jù)記錄轉(zhuǎn)換為格式數(shù)據(jù)集，包括：?

根據(jù)所述規(guī)則集，將原始無序的數(shù)據(jù)記錄劃分為具有不同屬性的集合；?

格式數(shù)據(jù)集中的每一個(gè)元素為一個(gè)格式對(duì)，對(duì)于一個(gè)格式數(shù)據(jù)對(duì)來說，格式數(shù)據(jù)為一組特定的屬性值，數(shù)據(jù)集為滿足該特定屬性值的數(shù)據(jù)記錄的集合；?

點(diǎn)過濾條件的記錄屬性和范圍過濾條件中的記錄屬性，過濾掉原始數(shù)據(jù)集中無法推導(dǎo)出所涉及屬性值的數(shù)據(jù)記錄，形成格式數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述轉(zhuǎn)換后的格式數(shù)據(jù)集通過分布式存儲(chǔ)方法進(jìn)行存儲(chǔ)。?

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于存儲(chǔ)的格式數(shù)據(jù)集，執(zhí)行統(tǒng)計(jì)計(jì)算，包括：?

先執(zhí)行點(diǎn)過濾過程：對(duì)于格式數(shù)據(jù)集中的每個(gè)格式數(shù)據(jù)對(duì)，檢查其格式數(shù)據(jù)對(duì)中的屬性值，過濾掉不符合點(diǎn)過濾條件的格式數(shù)據(jù)對(duì)，剩下的格式數(shù)據(jù)對(duì)組成中間結(jié)果數(shù)據(jù)集；對(duì)于中間結(jié)果數(shù)據(jù)集中的每個(gè)格式數(shù)據(jù)對(duì)，對(duì)數(shù)據(jù)集中的數(shù)據(jù)記錄進(jìn)行所需要的統(tǒng)計(jì)計(jì)算，然后依據(jù)點(diǎn)過濾條件過濾格式數(shù)據(jù)對(duì)，剩下的格式數(shù)據(jù)對(duì)組成中間結(jié)果數(shù)據(jù)集；?

然后執(zhí)行范圍過濾：對(duì)于中間結(jié)果數(shù)據(jù)中的每個(gè)格式數(shù)據(jù)，使用二分查找算法，找到數(shù)據(jù)集中的一組滿足范圍過濾條件的數(shù)據(jù)記錄，組成中間結(jié)果數(shù)據(jù)?集；中間結(jié)果數(shù)據(jù)集中的所有格式數(shù)據(jù)集就是滿足要求的點(diǎn)過濾條件和范圍過濾條件的數(shù)據(jù)記錄；對(duì)中間數(shù)據(jù)集中的每個(gè)格式數(shù)據(jù)集中的數(shù)據(jù)記錄執(zhí)行指定的計(jì)算操作，輸出結(jié)果。?

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述統(tǒng)計(jì)計(jì)算采用分布式計(jì)算來執(zhí)行點(diǎn)過濾過程、范圍過濾過程，統(tǒng)計(jì)計(jì)算，分布在不同的計(jì)算節(jié)點(diǎn)并行執(zhí)行。?