[發(fā)明專利]日志數(shù)據(jù)查詢方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011168543.6
• 申請(qǐng)日: 2020-10-27
• 公開（公告）號(hào): CN112182043A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 於圣楠;張宇昂;周彩冬;劉柏;李仁杰;范長(zhǎng)杰;胡志鵬
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 張芮

本申請(qǐng)?zhí)峁┮环N日志數(shù)據(jù)查詢方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)查詢技術(shù)領(lǐng)域。該方法包括：獲取日志查詢請(qǐng)求，日志查詢請(qǐng)求包括查詢信息；根據(jù)查詢信息，確定待查詢的日志數(shù)據(jù)的類型；若待查詢的日志數(shù)據(jù)的類型包括：實(shí)時(shí)日志數(shù)據(jù)，則根據(jù)預(yù)設(shè)的批處理應(yīng)用程序接口以及查詢信息中的實(shí)時(shí)查詢信息，生成批處理查詢?nèi)蝿?wù)；調(diào)用批處理應(yīng)用程序接口，執(zhí)行批處理查詢?nèi)蝿?wù)，在執(zhí)行批處理查詢?nèi)蝿?wù)中從預(yù)設(shè)的分布式消息隊(duì)列中確定滿足實(shí)時(shí)查詢信息的日志數(shù)據(jù)為目標(biāo)實(shí)時(shí)日志數(shù)據(jù)；返回目標(biāo)日志數(shù)據(jù)，目標(biāo)日志數(shù)據(jù)包括：目標(biāo)實(shí)時(shí)日志數(shù)據(jù)。相對(duì)于現(xiàn)有技術(shù)，避免了實(shí)時(shí)日志數(shù)據(jù)的查詢速度低，吞吐量不高的問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)查詢技術(shù)領(lǐng)域，具體而言，涉及一種日志數(shù)據(jù)查詢方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在當(dāng)前大數(shù)據(jù)的場(chǎng)景之下，高速、實(shí)時(shí)的日志數(shù)據(jù)查詢已經(jīng)成為非常常見的需求，有助于用戶可以快速定位業(yè)務(wù)或是程序的問(wèn)題。

現(xiàn)有技術(shù)中一般通過(guò)用消息隊(duì)列接收產(chǎn)生的日志數(shù)據(jù)，并將其進(jìn)行結(jié)構(gòu)化處理并落盤到預(yù)設(shè)存儲(chǔ)系統(tǒng)上，通過(guò)每天的批處理將存儲(chǔ)系統(tǒng)上的日志數(shù)據(jù)導(dǎo)入至數(shù)據(jù)倉(cāng)庫(kù)，從而給用戶提供T+1級(jí)別的查詢；而對(duì)于有高實(shí)時(shí)性查詢需求的日志，則將日志數(shù)據(jù)進(jìn)行處理后寫入到某些分布式存儲(chǔ)引擎或是搜索引擎(例如可以為Hbase、Elasticsearch、Kudu等)。

但是這樣的日志查詢方式，由于實(shí)時(shí)日志數(shù)據(jù)需要先寫入某些分布式存儲(chǔ)引擎或是搜索引擎后，再根據(jù)索引對(duì)各日志進(jìn)行查詢，不但查詢方式復(fù)雜，并且這種先處理再查詢的方式一般為流式查詢，導(dǎo)致實(shí)時(shí)日志數(shù)據(jù)的查詢速度低，吞吐量不高。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種日志數(shù)據(jù)查詢方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中實(shí)時(shí)日志數(shù)據(jù)的查詢速度低，吞吐量不高的問(wèn)題。

為實(shí)現(xiàn)上述目的，本申請(qǐng)實(shí)施例采用的技術(shù)方案如下：

第一方面，本申請(qǐng)一實(shí)施例提供了一種日志數(shù)據(jù)查詢方法，所述方法包括：

獲取日志查詢請(qǐng)求，所述日志查詢請(qǐng)求包括查詢信息；

根據(jù)所述查詢信息，確定待查詢的日志數(shù)據(jù)的類型；

若所述待查詢的日志數(shù)據(jù)的類型包括實(shí)時(shí)日志數(shù)據(jù)，則根據(jù)預(yù)設(shè)的批處理應(yīng)用程序接口以及所述查詢信息中的實(shí)時(shí)查詢信息，生成批處理查詢?nèi)蝿?wù)；

調(diào)用所述批處理應(yīng)用程序接口，執(zhí)行所述批處理查詢?nèi)蝿?wù)，其中，根據(jù)所述批處理查詢?nèi)蝿?wù)，從預(yù)設(shè)的分布式消息隊(duì)列中確定滿足所述實(shí)時(shí)查詢信息的日志數(shù)據(jù)為目標(biāo)實(shí)時(shí)日志數(shù)據(jù)；

返回目標(biāo)日志數(shù)據(jù)，所述目標(biāo)日志數(shù)據(jù)包括：所述目標(biāo)實(shí)時(shí)日志數(shù)據(jù)。

可選地，所述實(shí)時(shí)查詢信息包括：實(shí)時(shí)查詢時(shí)間和實(shí)時(shí)查詢關(guān)鍵字；

所述在執(zhí)行所述批處理查詢?nèi)蝿?wù)中從預(yù)設(shè)的分布式消息隊(duì)列中確定滿足所述實(shí)時(shí)查詢信息的日志數(shù)據(jù)為目標(biāo)實(shí)時(shí)日志數(shù)據(jù)，包括：

在執(zhí)行所述批處理查詢?nèi)蝿?wù)中，根據(jù)所述實(shí)時(shí)查詢時(shí)間，確定所述分布式消息隊(duì)中滿足所述實(shí)時(shí)查詢時(shí)間的目標(biāo)虛擬數(shù)組中每個(gè)分區(qū)的偏移信息；

根據(jù)所述目標(biāo)虛擬數(shù)組中多個(gè)分區(qū)的偏移信息，采用多個(gè)線程，同時(shí)查詢所述目標(biāo)虛擬數(shù)組中多個(gè)分區(qū)中的日志數(shù)據(jù)；其中，所述線程的個(gè)數(shù)大于或等于所述目標(biāo)虛擬數(shù)組中分區(qū)的個(gè)數(shù)；

根據(jù)所述實(shí)時(shí)查詢關(guān)鍵字，對(duì)從所述目標(biāo)虛擬數(shù)組中查詢到的日志數(shù)據(jù)進(jìn)行過(guò)濾，得到所述目標(biāo)實(shí)時(shí)日志數(shù)據(jù)。

可選地，所述根據(jù)所述目標(biāo)虛擬數(shù)組中多個(gè)分區(qū)的偏移信息，采用多個(gè)線程，同時(shí)查詢所述目標(biāo)虛擬數(shù)組中多個(gè)分區(qū)中的日志數(shù)據(jù)，包括：

根據(jù)所述目標(biāo)虛擬數(shù)組中多個(gè)分區(qū)的偏移信息，采用N個(gè)線程，同時(shí)查詢所述目標(biāo)虛擬數(shù)組中N個(gè)分區(qū)中的日志數(shù)據(jù)；其中，N為大于或等于2的整數(shù)。