[發(fā)明專利]一種基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入、查詢及處理方法

有效

• 申請?zhí)枺?/td>: 201810060752.5
• 申請日: 2018-01-22
• 公開（公告）號: CN108256087B
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計）人: 徐岷峰
• 申請（專利權(quán)）人: 北京騰云天下科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22
• 代理公司: 北京思睿峰知識產(chǎn)權(quán)代理有限公司 11396
• 代理人: 謝建云;趙愛軍

本發(fā)明公開了一種基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入、查詢及處理方法、計算設(shè)備和基于位圖結(jié)構(gòu)的數(shù)據(jù)處理系統(tǒng)，數(shù)據(jù)導(dǎo)入方法適于在數(shù)據(jù)導(dǎo)入服務(wù)器中執(zhí)行，該方法包括：響應(yīng)協(xié)調(diào)服務(wù)器發(fā)出的數(shù)據(jù)導(dǎo)入指令，以導(dǎo)入一條或多條原始數(shù)據(jù)；對每一條原始數(shù)據(jù)，根據(jù)預(yù)設(shè)的數(shù)據(jù)處理規(guī)則，將該原始數(shù)據(jù)進(jìn)行轉(zhuǎn)換以獲取相應(yīng)的位圖結(jié)構(gòu)數(shù)據(jù)；將獲取到的各位圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行壓縮處理，以生成對應(yīng)的數(shù)據(jù)塊，并將數(shù)據(jù)塊提交至存儲服務(wù)器以便存儲；接收存儲服務(wù)器反饋的存儲狀態(tài)消息；若存儲狀態(tài)消息指示數(shù)據(jù)塊存儲成功，則向協(xié)調(diào)服務(wù)器發(fā)送存儲成功消息，以便協(xié)調(diào)服務(wù)器指示緩存服務(wù)器從存儲服務(wù)器加載數(shù)據(jù)塊，并對各位圖結(jié)構(gòu)數(shù)據(jù)執(zhí)行失效處理。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入、查詢及處理方法、計算設(shè)備和基于位圖結(jié)構(gòu)的數(shù)據(jù)處理系統(tǒng)。

背景技術(shù)

在大數(shù)據(jù)技術(shù)領(lǐng)域中，對海量數(shù)據(jù)集合做排重統(tǒng)計，以及對多個海量數(shù)據(jù)集合的數(shù)據(jù)做多維交叉統(tǒng)計是一個極具挑戰(zhàn)的任務(wù)。目前，對數(shù)據(jù)集合做排重統(tǒng)計的方法通常分為兩種：一種是將數(shù)據(jù)導(dǎo)入到一個Set數(shù)據(jù)結(jié)構(gòu)中，利用Set數(shù)據(jù)結(jié)構(gòu)的不允許出現(xiàn)重復(fù)元素的特性做排重，但這種方法需要大量存儲空間，然而海量數(shù)據(jù)一般無法全部裝載到內(nèi)存中，即使使用外部存儲，在寫入和查詢的時候也需要大量I/O(Input/Output輸入/輸出)操作，導(dǎo)致性能較差，另一種則是采取HyperLogLog、DataSketches等估算算法做排重統(tǒng)計，在存儲和性能上得到了極大提高，但無法滿足精準(zhǔn)排重的需求。

進(jìn)一步的，當(dāng)要對多個海量數(shù)據(jù)集合做交叉統(tǒng)計時，傳統(tǒng)的做法是使用關(guān)系型數(shù)據(jù)庫，對存儲于多個表中的數(shù)據(jù)做Join(連接)操作，但是當(dāng)數(shù)據(jù)量特別巨大時，這種做法無論是在存儲上還是性能上都無法滿足需求。因此，需要提供一種新的數(shù)據(jù)處理方法來優(yōu)化上述過程。

發(fā)明內(nèi)容

為此，本發(fā)明提供一種基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入、查詢及處理的技術(shù)方案，以力圖解決或者至少緩解上面存在的問題。

根據(jù)本發(fā)明的一個方面，提供一種基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入方法，適于在數(shù)據(jù)導(dǎo)入服務(wù)器中執(zhí)行，數(shù)據(jù)導(dǎo)入服務(wù)器分別與協(xié)調(diào)服務(wù)器和存儲服務(wù)器通信連接，協(xié)調(diào)服務(wù)器和存儲服務(wù)器還分別與緩存服務(wù)器通信連接，該方法包括如下步驟：首先，響應(yīng)協(xié)調(diào)服務(wù)器發(fā)出的數(shù)據(jù)導(dǎo)入指令，以導(dǎo)入一條或多條原始數(shù)據(jù)；對每一條原始數(shù)據(jù)，根據(jù)預(yù)設(shè)的數(shù)據(jù)處理規(guī)則，將該原始數(shù)據(jù)進(jìn)行轉(zhuǎn)換以獲取相應(yīng)的位圖結(jié)構(gòu)數(shù)據(jù)；將獲取到的各位圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行壓縮處理，以生成對應(yīng)的數(shù)據(jù)塊，并將數(shù)據(jù)塊提交至存儲服務(wù)器以便存儲；接收存儲服務(wù)器反饋的存儲狀態(tài)消息；若存儲狀態(tài)消息指示數(shù)據(jù)塊存儲成功，則向協(xié)調(diào)服務(wù)器發(fā)送存儲成功消息，以便協(xié)調(diào)服務(wù)器指示緩存服務(wù)器從存儲服務(wù)器加載數(shù)據(jù)塊，并對各位圖結(jié)構(gòu)數(shù)據(jù)執(zhí)行失效處理。

可選地，在根據(jù)本發(fā)明的基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入方法中，數(shù)據(jù)導(dǎo)入指令包括原始數(shù)據(jù)的數(shù)據(jù)源以及數(shù)據(jù)格式定義。

可選地，在根據(jù)本發(fā)明的基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入方法中，將獲取到的各位圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行壓縮處理，以生成對應(yīng)的數(shù)據(jù)塊的步驟包括：判斷獲取到的位圖結(jié)構(gòu)數(shù)據(jù)的總數(shù)量是否達(dá)到預(yù)設(shè)的第一閾值；若是，則將所有位圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行壓縮處理，以生成對應(yīng)的數(shù)據(jù)塊。

可選地，在根據(jù)本發(fā)明的基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入方法中，將獲取到的各位圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行壓縮處理，以生成對應(yīng)的數(shù)據(jù)塊的步驟包括：判斷當(dāng)前時刻與上一次生成數(shù)據(jù)塊的時刻的時間差值是否達(dá)到預(yù)設(shè)的第二閾值；若是，則將所有位圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行壓縮處理，以生成對應(yīng)的數(shù)據(jù)塊。

可選地，在根據(jù)本發(fā)明的基于位圖結(jié)構(gòu)的數(shù)據(jù)導(dǎo)入方法中，將數(shù)據(jù)塊提交至存儲服務(wù)器以便存儲的步驟包括：從協(xié)調(diào)服務(wù)器獲取數(shù)據(jù)塊的存儲路徑和塊標(biāo)識；根據(jù)存儲路徑和塊標(biāo)識，將數(shù)據(jù)塊提交至存儲服務(wù)器進(jìn)行存儲。