[發(fā)明專利]日志數(shù)據(jù)查詢方法、裝置、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011168543.6
• 申請日: 2020-10-27
• 公開（公告）號: CN112182043A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設計）人: 於圣楠;張宇昂;周彩冬;劉柏;李仁杰;范長杰;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京超成律師事務所 11646
• 代理人: 張芮

1.一種日志數(shù)據(jù)查詢方法，其特征在于，所述方法包括：

獲取日志查詢請求，所述日志查詢請求包括查詢信息；

根據(jù)所述查詢信息，確定待查詢的日志數(shù)據(jù)的類型；

若所述待查詢的日志數(shù)據(jù)的類型包括實時日志數(shù)據(jù)，則根據(jù)預設的批處理應用程序接口以及所述查詢信息中的實時查詢信息，生成批處理查詢?nèi)蝿眨?/p>

調(diào)用所述批處理應用程序接口，執(zhí)行所述批處理查詢?nèi)蝿眨渲校鶕?jù)所述批處理查詢?nèi)蝿眨瑥念A設的分布式消息隊列中確定滿足所述實時查詢信息的日志數(shù)據(jù)為目標實時日志數(shù)據(jù)；

返回目標日志數(shù)據(jù)，所述目標日志數(shù)據(jù)包括：所述目標實時日志數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述實時查詢信息包括：實時查詢時間和實時查詢關鍵字；

所述根據(jù)所述批處理查詢?nèi)蝿眨瑥念A設的分布式消息隊列中確定滿足所述實時查詢信息的日志數(shù)據(jù)為目標實時日志數(shù)據(jù)，包括：

在執(zhí)行所述批處理查詢?nèi)蝿罩校鶕?jù)所述實時查詢時間，確定所述分布式消息隊中滿足所述實時查詢時間的目標虛擬數(shù)組中每個分區(qū)的偏移信息；

根據(jù)所述目標虛擬數(shù)組中多個分區(qū)的偏移信息，采用多個線程，同時查詢所述目標虛擬數(shù)組中多個分區(qū)中的日志數(shù)據(jù)；其中，所述線程的個數(shù)大于或等于所述目標虛擬數(shù)組中分區(qū)的個數(shù)；

根據(jù)所述實時查詢關鍵字，對從所述目標虛擬數(shù)組中查詢到的日志數(shù)據(jù)進行過濾，得到所述目標實時日志數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述目標虛擬數(shù)組中多個分區(qū)的偏移信息，采用多個線程，同時查詢所述目標虛擬數(shù)組中多個分區(qū)中的日志數(shù)據(jù)，包括：

根據(jù)所述目標虛擬數(shù)組中多個分區(qū)的偏移信息，采用N個線程，同時查詢所述目標虛擬數(shù)組中N個分區(qū)中的日志數(shù)據(jù)；其中，N為大于或等于2的整數(shù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述目標虛擬數(shù)組中多個分區(qū)的偏移信息，采用多個線程，同時查詢所述目標虛擬數(shù)組中多個分區(qū)中的日志數(shù)據(jù)，包括：

根據(jù)所述目標虛擬數(shù)組中多個分區(qū)的偏移信息，采用N×M個線程，同時分別查詢所述目標虛擬數(shù)組中N個分區(qū)中的日志數(shù)據(jù)，其中，每個分區(qū)內(nèi)具有M個子分區(qū)；N和M均為大于或等于2的整數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述目標虛擬數(shù)組中多個分區(qū)的偏移信息，采用N×M個線程，同時分別查詢所述目標虛擬數(shù)組中N個分區(qū)中的日志數(shù)據(jù)之前，所述方法還包括：

根據(jù)所述目標虛擬數(shù)組中每個分區(qū)的偏移信息，確定所述每個分區(qū)的起始結(jié)束位置；

將所述起始結(jié)束為止之間的區(qū)間平均劃分為M個子分區(qū)。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，每個所述子分區(qū)的長度大于或等于預設的最小時間單元。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

若所述待查詢的日志數(shù)據(jù)的類型還包括：離線日志數(shù)據(jù)，則調(diào)用所述批處理應用程序接口，從預設的存儲系統(tǒng)上獲取滿足所述查詢信息中的離線查詢信息的日志數(shù)據(jù)為目標離線日志數(shù)據(jù)；

所述目標日志數(shù)據(jù)還包括：所述目標離線日志數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述離線查詢信息包括：離線查詢時間和離線查詢關鍵字；

所述調(diào)用所述批處理應用程序接口，從預設的存儲系統(tǒng)上獲取滿足所述查詢信息中所述離線日志數(shù)據(jù)對應的離線查詢信息的日志數(shù)據(jù)為目標離線日志數(shù)據(jù)，包括：

調(diào)用所述批處理應用程序接口，從所述存儲系統(tǒng)上讀取滿足所述離線查詢時間的日志數(shù)據(jù)；

根據(jù)所述離線查詢關鍵字，對從所述存儲系統(tǒng)查詢到的日志數(shù)據(jù)進行過濾，得到所述目標離線日志數(shù)據(jù)。