[發明專利]日志收集方法、裝置及計算機可讀存儲介質

在審

• 申請號: 201811342408.1
• 申請日: 2018-11-12
• 公開（公告）號: CN109471743A
• 公開（公告）日: 2019-03-15
• 發明（設計）人: 封偉城;殷躍;向非能;蔡聲群
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國;魏蘭

本發明公開了一種日志收集方法，包括以下步驟：通過前端業務應用的業務進程調用日志采集API，將業務應用產生的日志數據寫入共享內存隊列；通過日志采集代理從所述共享內存隊列讀取日志數據，并將日志數據轉發至后端日志收集服務。本發明還公開了一種日志收集裝置及計算機可讀存儲介質。本發明基于共享內存隊列采集日志，提升了日志采集的性能與效果。

技術領域

本發明涉及日志處理技術領域，尤其涉及一種日志收集方法、裝置及計算機可讀存儲介質。

背景技術

現有技術中通常是基于磁盤文本文件間接采集日志，然后通過在業務服務器上部署的日志采集代理直接讀取存儲在磁盤文件上的日志文件，并對日志文件進行日志解析后發送給下游的日志收集服務。

現有基于磁盤文本文件的日志收集方式主要存在以下弊端：

(1)由于需要頻繁對磁盤設備進行操作，因而可能會影響業務服務對磁盤的正常讀寫；

(2)由于磁盤本身讀寫性能較低，因而在業務持續高負載的情況下，日志采集代理可能會過載，進而導致業務日志丟失。

發明內容

本發明的主要目的在于提供一種日志收集方法、裝置及計算機可讀存儲介質，旨在解決如何避免基于磁盤文本文件的日志收集方式所存在的弊端的技術問題。

為實現上述目的，本發明提供一種日志收集方法，所述日志收集方法包括以下步驟：

通過前端業務應用的業務進程調用日志采集API，將業務應用產生的日志數據寫入共享內存隊列；

通過日志采集代理從所述共享內存隊列讀取日志數據，并將日志數據轉發至后端日志收集服務。

可選地，所述共享內存隊列的頭部設有用于標記所述共享內存隊列中已使用的共享內存空間范圍的第一偏移量參數與第二偏移量參數；

所述第一偏移量參數用于：標識當前已使用的共享內存空間尾部相對于起始地址的偏移量，以確定當前已使用的共享內存空間尾部位置；

所述第二偏移量參數用于：標識當前已使用的共享內存空間頭部相對于起始地址的偏移量，以確定當前已使用的共享內存空間頭部位置。

可選地，所述通過前端業務應用的業務進程調用日志采集API，將業務應用產生的日志數據寫入共享內存隊列包括：

通過前端業務應用的業務進程調用日志采集API，對所述共享內存隊列進行CAS操作，以根據待寫入的日志數據的長度，修改所述第一偏移量參數的參數值；

判斷所述第一偏移量參數的參數值是否修改成功；

若是，則將業務應用產生的日志數據寫入所述共享內存隊列中已使用的共享內存空間尾部。

可選地，所述通過日志采集代理從所述共享內存隊列讀取日志數據，并將日志數據轉發至后端日志收集服務包括：

通過日志采集代理從所述共享內存隊列中已使用的共享內存空間頭部拷貝日志數據；

根據拷貝的日志數據的長度，修改所述第二偏移量參數的參數值；

將拷貝的日志數據轉發至后端日志收集服務。

可選地，所述通過日志采集代理從所述共享內存隊列讀取日志數據，并將日志數據轉發至后端日志收集服務包括：

通過日志采集代理的代理進程，從所述共享內存隊列讀取日志數據；

根據日志數據的類型，將讀取的日志數據傳輸至對應的轉發進程；

通過轉發進程將日志數據轉發至后端日志收集服務，其中，所述轉發進程采用微線程方式轉發日志數據。