[發明專利]日志內容及日志數據的篩選方法、裝置、系統、可讀介質

在審

• 申請號: 201810020494.8
• 申請日: 2018-01-09
• 公開（公告）號: CN108234245A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 黃凱旋;康凱
• 申請（專利權）人: 上海帝聯網絡科技有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08;H04L12/24
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 吳敏

一種日志內容及日志數據的篩選方法、裝置、系統、可讀介質，所述日志內容的篩選方法包括：接收客戶端發送的日志過濾條件；基于所接收的過濾條件，利用云端計算資源對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息；將所述執行結果信息或者滿足所述過濾條件的日志數據反饋至所述客戶端。應用上述方案，可以充分利用云端計算資源的計算能力，在云端對日志數據進行篩選，避免客戶端下載后再次篩選日志數據的繁瑣處理，從而可以節省網絡帶寬和本地計算資源。

技術領域

本發明實施例涉及大數據處理領域，尤其涉及一種日志內容及日志數據的篩選方法、裝置、系統、可讀介質。

背景技術

隨著互聯網的應用普及，產生了海量的日志數據，日志數據記錄了每一次的互聯網數據交互。通過對日志數據進行分析，可以重現每次數據訪問的場景；而對海量日志數據的分析，可以充分了解用戶行為，為企業戰略決策提供數據支持。

在現有的實現方案中，當客戶端需要獲取日志數據時，通過文件傳輸協議(FileTransfer Protocol，FTP)或者超文本傳輸協議(Hyper Text Transfer Protocol，HTTP)將日志數據下載到本地，然后再進行篩選，獲取期望的日志數據內容。

現有的通過FTP或者HTTP將日志數據下載到本地再進行篩選，當日志數據很大時，會浪費網絡帶寬及有限的本地計算資源。

發明內容

本發明實施例解決的技術問題是如何減少日志篩選處理時間，節省網絡帶寬及本地計算資源。

為解決上述技術問題，本發明實施例提供一種日志內容的篩選方法，所述方法包括：接收客戶端發送的日志過濾條件；基于所接收的過濾條件，利用云端計算資源對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息；將所述執行結果信息或者滿足所述過濾條件的日志數據反饋至所述客戶端。

可選地，所述日志過濾條件為：日志類型、日志開始時間、日志結束時間、域名及以下至少一項：統一資源定位符、HTTP狀態碼、服務端IP地址。

可選地，所述接收客戶端發送的日志過濾條件包括：通過Web端接收所述客戶端發送的日志過濾條件，并將所接收的日志過濾條件轉換為預設格式的條件參數。

可選地，通過所述Web端將所述執行結果信息或者滿足所述過濾條件的日志數據反饋至所述客戶端。

可選地，所述基于所接收的過濾條件，利用云端計算資源對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息包括：分配Spark分布式計算單元；基于預設格式的條件參數，利用分配的Spark分布式計算單元對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息；將所述執行結果信息反饋至所述Web端。

可選地，所述利用分配的Spark分布式計算單元對分布式文件系統中的日志數據進行過濾以獲取滿足所述過濾條件的日志數據，并生成執行結果信息包括：對分布式文件系統中的日志數據對應的文件名稱進行過濾；對滿足所述過濾條件的文件名稱對應的日志記錄進行逐行過濾，以獲取滿足所述過濾條件的日志數據；基于是否成功獲取滿足所述過濾條件的日志數據，生成執行結果信息。

可選地，所述基于是否成功獲取滿足所述過濾條件的日志數據，生成執行結果信息包括：當成功獲取滿足所述過濾條件的日志數據時，生成所述執行結果信息如下：滿足所述過濾條件的日志數據的大小信息及在分布式文件系統中的存放位置信息；當未成功獲取滿足所述過濾條件的日志數據時，生成所述執行結果信息如下：執行失敗的原因信息。