[發(fā)明專(zhuān)利]數(shù)據(jù)查詢方法及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201711217812.1
• 申請(qǐng)日: 2017-11-28
• 公開(kāi)（公告）號(hào): CN110019394A
• 公開(kāi)（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 吉?jiǎng)δ?/a>;周祥
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06F16/2458
• 分類(lèi)號(hào): G06F16/2458;G06F16/2453;G06F16/242
• 代理公司: 上海百一領(lǐng)御專(zhuān)利代理事務(wù)所(普通合伙) 31243
• 代理人: 陳貞健;王路豐

本發(fā)明的目的是提供一種數(shù)據(jù)查詢?cè)O(shè)備及設(shè)備，本發(fā)明利用分布式查詢過(guò)程中上一次的查詢請(qǐng)求的查詢結(jié)果的描述信息如統(tǒng)計(jì)信息作為元數(shù)據(jù)信息，加速當(dāng)前次的查詢請(qǐng)求的查詢速度，優(yōu)化計(jì)算資源，提高查詢效率。現(xiàn)有的分布式查詢框架，都旨在如何更快的針對(duì)大數(shù)據(jù)集進(jìn)行掃描，而并非通過(guò)其他優(yōu)化方式減少需要掃描的數(shù)據(jù)集，這種方式在數(shù)據(jù)集規(guī)模越來(lái)越大時(shí)，優(yōu)化效果就會(huì)逐步降低，可以認(rèn)為是一個(gè)O(n)的算法。而利用本發(fā)明的數(shù)據(jù)集的元數(shù)據(jù)信息對(duì)當(dāng)前次的查詢請(qǐng)求進(jìn)行計(jì)算的方式，即使數(shù)據(jù)集規(guī)模增大，仍然可以快速篩選，是一個(gè)O(1)的算法。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種數(shù)據(jù)查詢方法及設(shè)備。

背景技術(shù)

實(shí)時(shí)分布式計(jì)算引擎在公共云和專(zhuān)有云環(huán)境輸出的大數(shù)據(jù)應(yīng)用場(chǎng)景中，面臨的最多的如何在海量數(shù)據(jù)中快速進(jìn)行目標(biāo)數(shù)據(jù)集的查找。在傳統(tǒng)的商業(yè)數(shù)據(jù)庫(kù)中，大多是依賴于索引來(lái)對(duì)查詢進(jìn)行加速。

索引是一種單獨(dú)的、物理的對(duì)數(shù)據(jù)庫(kù)表中一列或多列的值進(jìn)行排序的一種存儲(chǔ)結(jié)構(gòu)，它是某個(gè)表中一列或若干列值的集合和相應(yīng)的指向表中物理標(biāo)識(shí)這些值的數(shù)據(jù)頁(yè)的邏輯指針清單。

而在海量數(shù)據(jù)查詢的場(chǎng)景中，查詢經(jīng)過(guò)索引篩選后的數(shù)據(jù)集可能很大甚至無(wú)法利用索引，這時(shí)就需要對(duì)每行數(shù)據(jù)進(jìn)行處理，導(dǎo)致整個(gè)查詢無(wú)法在短時(shí)間內(nèi)返回結(jié)果。一方面導(dǎo)致了該用戶查詢的響應(yīng)延時(shí)，體驗(yàn)變差；另一方面會(huì)造成集實(shí)時(shí)分布式計(jì)算引擎的群計(jì)算資源浪費(fèi)，無(wú)法承擔(dān)更大的并發(fā)，更復(fù)雜的查詢。

發(fā)明內(nèi)容

本發(fā)明的一個(gè)目的是提供一種數(shù)據(jù)查詢方法及設(shè)備，解決現(xiàn)有數(shù)據(jù)查詢響應(yīng)延時(shí)的問(wèn)題。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)查詢方法，該方法包括：

獲取第一查詢請(qǐng)求；

確定第一查詢請(qǐng)求之前的至少一個(gè)查詢請(qǐng)求對(duì)應(yīng)的描述信息，該描述信息包括對(duì)所述至少一個(gè)查詢請(qǐng)求的查詢結(jié)果處理得到的數(shù)據(jù)；

基于所述描述信息中的數(shù)據(jù)，對(duì)所述第一查詢請(qǐng)求進(jìn)行處理。

進(jìn)一步的，上述方法中，所述查詢請(qǐng)求對(duì)應(yīng)的描述信息包括：

所述查詢請(qǐng)求的查詢結(jié)果的數(shù)據(jù)項(xiàng)中的元素的最大值、最小值、數(shù)據(jù)項(xiàng)中不同值的元素的個(gè)數(shù)和數(shù)據(jù)項(xiàng)中所有元素的個(gè)數(shù)中的一個(gè)或任意組合。

進(jìn)一步的，上述方法中，對(duì)所述第一查詢請(qǐng)求進(jìn)行處理之后，還包括：

根據(jù)所述第一查詢請(qǐng)求的查詢結(jié)果，生成第一查詢請(qǐng)求對(duì)應(yīng)的描述信息。

進(jìn)一步的，上述方法中，根據(jù)所述第一查詢請(qǐng)求的查詢結(jié)果，生成第一查詢請(qǐng)求對(duì)應(yīng)的描述信息，包括：

預(yù)估所述第一查詢請(qǐng)求之后的至少一個(gè)查詢請(qǐng)求的內(nèi)容；

根據(jù)所述預(yù)估的第一查詢請(qǐng)求之后的至少一個(gè)查詢請(qǐng)求的內(nèi)容和所述第一查詢請(qǐng)求的查詢結(jié)果，生成所述第一查詢請(qǐng)求對(duì)應(yīng)的描述信息。

進(jìn)一步的，上述方法中，基于所述描述信息中的數(shù)據(jù)，對(duì)所述第一查詢請(qǐng)求進(jìn)行處理，包括：

判斷所述第一查詢請(qǐng)求之前的至少一個(gè)查詢請(qǐng)求對(duì)應(yīng)的描述信息，是否適用于對(duì)所述第一查詢請(qǐng)求的處理，

若是，基于所述描述信息中的數(shù)據(jù)，對(duì)所述第一查詢請(qǐng)求進(jìn)行處理。

進(jìn)一步的，上述方法中，判斷所述第一查詢請(qǐng)求之前的至少一個(gè)查詢請(qǐng)求對(duì)應(yīng)的描述信息，是否適用于對(duì)所述第一查詢請(qǐng)求的處理之后，還包括：

若否，基于所述第一查詢請(qǐng)求的之前的至少一個(gè)查詢請(qǐng)求的查詢結(jié)果，對(duì)所述第一查詢請(qǐng)求進(jìn)行處理。

進(jìn)一步的，上述方法中，所述查詢請(qǐng)求包括SQL查詢請(qǐng)求中的Aggregation、Comparision、Join、Intersect和Minus中的一種或任意組合。