[發明專利]一種日志質量評估方法、裝置、服務器以及存儲介質

在審

• 申請號: 201711420458.2
• 申請日: 2017-12-25
• 公開（公告）號: CN108121645A
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 林偉平
• 申請（專利權）人: 深圳市分期樂網絡科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種日志質量評估方法、裝置、服務器以及存儲介質。該方法包括在監聽到目標文件中有事件發生時，實時采集與目標文件相對應的日志數據，并按照預設時間間隔周期的記錄在預設時間間隔內所采集的日志數據的采集屬性信息；記錄目標文件中已發生事件的原始屬性信息；根據原始屬性信息以及目標文件的各采集屬性信息確定采集誤差率，以對目標文件的日志數據進行質量評估。采用上述技術方案實現了對采集的日志數據進行質量評估，以有效檢測采集日志數據的可靠性，避免了由于數據采集過程的失誤影響后續數據處理的最終結果，進而避免日志數據對系統維護、系統開發以及用戶數據挖掘等帶來錯誤引導。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種日志質量評估方法、裝置、服務器以及存儲介質。

背景技術

在一個完整的信息系統中，日志系統是一個非常重要的功能組成部分。日志系統依照某種規范形式記錄系統產生的所有行為，形成大量的日志數據作為開發維護人員了解信息系統的重要依據。

而Flume作為一個高可用、高可靠、分布式的海量日志采集、聚合和傳輸的系統，可以從控制臺Console、RPC(Thrift-RPC)、文件(Text)、Tail(UNIX Tail)、Syslog及命令執行(EXEC)等數據源上實時采集日志數據而應用廣泛。

如附圖1A為現有技術中Flume的代理及其附屬結構的示意圖。其中，代理100A(Agent)由信源110(Source)、信道120(Channel)以及信宿130(Sink)組成。其中，信源110定義了日志數據的來源，用于在采集到足夠的日志數據可以生成一個Flume事件時，把新創建的事件發送給信道120；信宿130定義了采集數據的出口，用于作為消費單元從信道120中接收事件，并在接收到的數據分發給目標存儲器140，用于后續對采集的日志數據進行處理；而信道120作為信源110和信宿130的中間通道，其作為事件的通信機制和保留機制，在信源110和信宿130的數據讀寫能力存在較大差異時，作為緩沖單元用于暫存數據。

然而，采用Flume進行數據采集過程中，由于其自身并未提供日志數據的質量評估功能，致使在服務器發生重啟、日志內容覆蓋或刪除等非常態事件發生時，系統開發維護人員無法及時發現日志數據的異常，導致后續的日志分析結果可靠性低，為服務器所在信息系統的系統維護、系統開發以及用戶數據挖掘等帶來錯誤引導。

發明內容

本發明實施例提供了一種日志質量評估方法、裝置、服務器以及存儲介質，以實現對采集的日志數據進行質量評估，以有效監測采集日志的可靠性，避免由于數據采集過程的失誤影響后續數據處理的最終結果。

第一方面，本發明實施例提供了一種日志質量評估方法，該方法包括：

在監聽到目標文件中有事件發生時，實時采集與所述目標文件相對應的日志數據，并按照預設時間間隔周期的記錄在所述預設時間間隔內所采集的日志數據的采集屬性信息；

記錄所述目標文件中已發生事件的原始屬性信息；

根據所述原始屬性信息以及所述目標文件的各采集屬性信息確定采集誤差率，以對所述目標文件的日志數據進行質量評估。

第二方面，本發明實施例還提供了一種日志質量評估裝置，該裝置包括：

第一記錄模塊，用于在監聽到目標文件中有事件發生時，實時采集與所述目標文件相對應的日志數據，并按照預設時間間隔周期的記錄在所述預設時間間隔內所采集的日志數據的采集屬性信息；

第二記錄模塊，用于記錄所述目標文件中已發生事件的原始屬性信息；

質量評估模塊，用于根據所述原始屬性信息以及所述目標文件的各采集屬性信息確定采集誤差率，以對所述目標文件的日志數據進行質量評估。

第三方面，本發明實施例還提供了一種服務器，包括輸入裝置，該服務器還包括：