[發(fā)明專利]數(shù)據(jù)查詢方法及裝置

在審

• 申請?zhí)枺?/td>: 201810564903.0
• 申請日: 2018-06-04
• 公開（公告）號: CN108829795A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計）人: 譚彬;周葳
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項京;馬敬

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)查詢方法及裝置，通過獲取待查詢維度組合；遍歷已創(chuàng)建cube，從所述已創(chuàng)建cube中，查詢與所述待查詢維度組合相同的維度組合；所述已創(chuàng)建cube是按照查詢頻繁度從最高到低的順序，選取預(yù)設(shè)數(shù)量個目標(biāo)維度組合確定的。本實(shí)施例通過遍歷查詢按照查詢頻繁度從最高到低的順序，選取預(yù)設(shè)數(shù)量個目標(biāo)維度組合確定得到的已創(chuàng)建cube，減少了查詢已創(chuàng)建cube的數(shù)量，因此減少查詢維度組合對應(yīng)的數(shù)據(jù)的時間，提高數(shù)據(jù)查詢效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)檢索技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)查詢方法及裝置。

背景技術(shù)

隨著網(wǎng)絡(luò)科技的發(fā)展，現(xiàn)在的日志報表越來越多。以宣傳產(chǎn)品為例產(chǎn)生日志報表的過程如下：

商家在網(wǎng)絡(luò)上設(shè)置廣告，宣傳產(chǎn)品。用戶點(diǎn)擊、播放及購買廣告產(chǎn)品分別產(chǎn)生日志報表，每一個日志報表包含多個維度，每個維度對應(yīng)一組數(shù)據(jù)。例如：維度a對應(yīng)年齡值；維度b對應(yīng)城市名稱；維度c對應(yīng)職業(yè)名稱。商家要求開發(fā)人員增加廣告播放量，開發(fā)人員利用商家的要求，從日志報表中查詢與符合商家要求增加廣告播放量的維度，獲得所需查詢的各個維度對應(yīng)的數(shù)據(jù)，然后根據(jù)日志報表中所需查詢的各個維度對應(yīng)的數(shù)據(jù)，對廣告進(jìn)行調(diào)整，以滿足增加廣告播放量的商家要求。

現(xiàn)有技術(shù)利用開源分布式分析工具kylin給日志報表中的每一個維度組合分別創(chuàng)建各自維度組合的表，這個表就稱為cube，這個過程稱為創(chuàng)建cube。例如：日志報表中包含三個維度，分別是a、b及c，則維度組合為：a、b、c、ab、ac、bc及abc，那么需要創(chuàng)建7個cube。開發(fā)人員通過遍歷查詢已創(chuàng)建的各個cube，找到cube中各個維度對應(yīng)的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)查詢。由于現(xiàn)有技術(shù)為每個維度組合創(chuàng)建cube，導(dǎo)致查詢數(shù)據(jù)過程需要遍歷查詢所有創(chuàng)建的cube，耗費(fèi)的時間過長，導(dǎo)致查詢效率不高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)查詢方法，通過遍歷查詢按照查詢頻繁度從最高到低的順序，選取預(yù)設(shè)數(shù)量個目標(biāo)維度組合確定得到的已創(chuàng)建cube，減少了查詢cube的數(shù)量，提高查詢效率。具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)查詢方法，包括：

獲取待查詢維度組合；

遍歷已創(chuàng)建cube，從所述已創(chuàng)建cube中，查詢與所述待查詢維度組合相同的維度組合，獲得查詢結(jié)果；所述已創(chuàng)建cube是按照維度組合的查詢頻繁度從最高到低的順序，選取預(yù)設(shè)數(shù)量個目標(biāo)維度組合確定的，所述查詢結(jié)果包括：與待查詢維度組合相同的維度組合及與待查詢維度組合相同的維度組合對應(yīng)的數(shù)據(jù)。

可選的，通過如下步驟確定所述已創(chuàng)建cube：

按照各個維度組合的查詢頻繁度，將預(yù)定時間內(nèi)所有維度組合進(jìn)行排序，得到排序后的維度組合；

從所述排序后的維度組合中，按照查詢頻繁度從最高到低的順序的，選擇前N個維度組合作為第一目標(biāo)維度組合；

從所述排序后的維度組合中除所述第一目標(biāo)維度組合以外的其余的維度組合中，按照查詢頻繁度從最高到低的順序的，選擇前M個維度組合；

將所述前M個的維度組合，分為K個局部簇；其中，N和M為正整數(shù)；N與M的和小于所有維度組合的個數(shù)；

針對每一個局部簇，將該局部簇中的各個維度組合進(jìn)行合并，將合并后的各個局部簇的維度組合作為第二目標(biāo)維度組合；

為所述第一目標(biāo)維度組合創(chuàng)建第一cube；

為所述第二目標(biāo)維度組合創(chuàng)建第二cube；

將所述第一cube和所述第二cube，確定為已創(chuàng)建cube。

可選的，所述將所述前M個的維度組合，分為K個局部簇包括：