[發明專利]日志內容及日志數據的篩選方法、裝置、系統、可讀介質

在審

• 申請號: 201810020494.8
• 申請日: 2018-01-09
• 公開（公告）號: CN108234245A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 黃凱旋;康凱
• 申請（專利權）人: 上海帝聯網絡科技有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08;H04L12/24
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 吳敏

1.一種日志內容的篩選方法，其特征在于，包括：

接收客戶端發送的日志過濾條件；

基于所接收的過濾條件，利用云端計算資源對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息；

將所述執行結果信息或者滿足所述過濾條件的日志數據反饋至所述客戶端。

2.根據權利要求1所述的日志內容的篩選方法，其特征在于，所述日志過濾條件為：日志類型、日志開始時間、日志結束時間、域名及以下至少一項：

統一資源定位符、HTTP狀態碼、服務端IP地址。

3.根據權利要求1所述的日志內容的篩選方法，其特征在于，所述接收客戶端發送的日志過濾條件包括：

通過Web端接收所述客戶端發送的日志過濾條件，并將所接收的日志過濾條件轉換為預設格式的條件參數。

4.根據權利要求3所述的日志內容的篩選方法，其特征在于，通過所述Web端將所述執行結果信息或者滿足所述過濾條件的日志數據反饋至所述客戶端。

5.根據權利要求4所述的日志內容的篩選方法，其特征在于，所述基于所接收的過濾條件，利用云端計算資源對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息包括：

分配Spark分布式計算單元；

基于預設格式的條件參數，利用分配的Spark分布式計算單元對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息；

將所述執行結果信息反饋至所述Web端。

6.根據權利要求5所述的日志內容的篩選方法，其特征在于，所述利用分配的Spark分布式計算單元對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息包括：

對分布式文件系統中的日志數據對應的文件名稱進行過濾；

對滿足所述過濾條件的文件名稱對應的日志記錄進行逐行過濾，以獲取滿足所述過濾條件的日志數據；

基于是否成功獲取滿足所述過濾條件的日志數據，生成執行結果信息。

7.根據權利要求6所述的日志內容的篩選方法，其特征在于，所述基于是否成功獲取滿足所述過濾條件的日志數據，生成執行結果信息包括：

當成功獲取滿足所述過濾條件的日志數據時，生成所述執行結果信息如下：滿足所述過濾條件的日志數據的大小信息及在分布式文件系統中的存放位置信息；

當未成功獲取滿足所述過濾條件的日志數據時，生成所述執行結果信息如下：執行失敗的原因信息。

8.根據權利要求5所述的日志內容的篩選方法，其特征在于，所述通過所述Web端將滿足所述過濾條件的日志數據反饋至所述客戶端包括：

當成功獲取滿足所述過濾條件的日志數據時，通過所述Web端顯示成功指示信息；

通過所述Web端接收所述客戶端發送的下載指令；

通過所述Web端基于HTTP協議將滿足所述過濾條件的日志數據反饋至所述客戶端。

9.一種日志數據的篩選方法，其特征在于，包括：

通過Web端接收客戶端發送的日志過濾條件；

基于所接收的過濾條件，判斷是否需要對分布式文件系統中的日志內容進行過濾；

當不需要對分布式文件系統中的日志內容進行過濾時，對日志數據對應的文件名稱進行過濾，以獲取滿足所述過濾條件的日志數據并反饋至所述客戶端；

當需要對分布式文件系統中的日志內容進行過濾時，采用如權利要求1至8任一項所述的日志內容的篩選方法對日志數據進行篩選。

10.根據權利要求9所述的日志數據的篩選方法，其特征在于，所述日志過濾條件包括以下至少一種：日志類型、日志開始時間、日志結束時間、域名、統一資源定位符、HTTP狀態碼、服務端IP地址。