[發明專利]一種大數據服務程序日志處理方法及系統

在審

• 申請號: 202011460217.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112486777A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 陳恩
• 申請（專利權）人: 深圳前瞻資訊股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請涉及種大數據服務程序日志處理方法及系統，屬于大數據處理技術的領域，處理方法包括在大數據后臺業務程序中引入內存日志組件，內存日志組件用于存儲按業務需求寫入的相應業務日志；在大數據后臺業務程序中引入日志訂閱服務端組件；將大數據后臺業務程序部署到指定服務器，配置日志訂閱服務地址和端口供日志訂閱服務端組件使用；將日志訂閱客戶端打開，并將日志訂閱客戶端連接到日志訂閱服務地址。與相關技術相比，本申請具有改善日志調取較為繁瑣的問題的效果。

技術領域

本申請涉及大數據處理技術的領域，尤其是涉及一種大數據服務程序日志處理方法及系統。

背景技術

大數據，IT行業術語，是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

網絡設備、系統及服務程序等，在運作時都會產生一個叫log的事件記錄，每一行日志都記載著日期、事件、使用者及動作等相關操作的描述。Windows網絡都設計有各種各樣的日志文件，如應用程序日志、安全日志、系統日志、scheduler服務日志、FTP日志、WWW日志、DNS服務器日志等等。們在系統上進行一些操作時，這些日志文件通常會記錄下我們操作的一些相關內容，這些內容對系統安全工作人員相當有用。日志組件幾乎存在于各類軟件系統中，用于記錄程序運行狀態、方便開發人員后續跟蹤、調試、異常分析等作業。

針對上述中的相關技術，發明人認為日志文件按服務程序分布在多個服務器中，且不同日志文件一般有不同的查看和調取規范，導致日志調取較為繁瑣。

發明內容

為了改善日志調取較為繁瑣的問題，本申請提供一種大數據服務程序日志處理方法及系統。

第一方面，本申請提供一種大數據服務程序日志處理方法，采用如下的技術方案：

一種大數據服務程序日志處理方法，所述處理方法包括，

在大數據后臺業務程序中引入內存日志組件，所述內存日志組件用于存儲按業務需求寫入的相應業務日志；

在所述大數據后臺業務程序中引入日志訂閱服務端組件；

將所述大數據后臺業務程序部署到指定服務器，配置日志訂閱服務地址和端口供日志訂閱服務端組件使用；以及，

將日志訂閱客戶端打開，并將日志訂閱客戶端連接到所述日志訂閱服務地址；其中，所述日志訂閱服務端組件用于在大數據后臺業務程序啟動后監聽大數據后臺業務程序運行所在服務器的指定日志訂閱服務端口，以向日志訂閱客戶端提供進程內指定內存日志組件的遠程訂閱服務，所述日志訂閱客戶端用于進行日志監測。

通過采用上述技術方案，在大數據后臺業務程序中引入/調用內存日志組件和日志訂閱服務端組件，且日志訂閱服務端組件和日志訂閱客戶端之間通過日志訂閱服務地址實現連接，使得日志訂閱服務組件能夠從服務器的指定日志訂閱服務端口接收日志訂閱客戶端的日志訂閱請求，并將讀取到的內存日志組件中的相應日志發送給日志訂閱客戶端，實現業務程序日志輸出重定向到日志訂閱客戶端，以對指定大數據業務程序的日志進行實時監測，從而借助在大數據后臺業務程序中引入內存日志組件和日志訂閱服務端組件能夠統一進行日志調取和日志讀取（查看），進而有助于改善日志調取較為繁瑣的問題；同時，能夠配合日志訂閱客戶端實現接近實時的遠程日志定向輸出，以便于開發人員快速了解程序運行狀態與定位異常。

可選的，所述按業務需求寫入內存日志組件的相應業務日志存儲于內存緩沖區內。

通過采用上述技術方案，通過大數據業務程序發布日志到內存緩沖區，通過犧牲階段時間內日志完整性換取相對更好的日志讀寫性能，使得日志無需落地，不產生任何磁盤IO，能夠提高在服務器上運行的磁盤的程序的性能，釋放日志文件磁盤配額，提高應用程序服務器業務程序部署密度。

可選的，所述內存日志組件至少需提供日志緩沖區大小初始化值設定、緩沖區寫入索引位置記錄讀取及設定、日志寫入/發布方法和日志讀取/拉取方法。