[發明專利]一種用于對并發生成的業務日志的處理方法和系統

有效

• 申請號: 201611071496.7
• 申請日: 2016-11-28
• 公開（公告）號: CN106776249B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 趙鑫;魏然;李勇;何宬呈;尹超
• 申請（專利權）人: 華迪計算機集團有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京工信聯合知識產權代理有限公司 11266
• 代理人: 郭一斐

本發明通過對并發生成的業務日志的處理方法，通過將緩沖日志區與物理存儲分離，減小了系統壓力，進而減小了系統響應遲緩的問題，提高了業務日志的插入和存儲效率。所述方法包括：將并發生成的業務日志寫入緩沖日志區；判斷緩沖日志區的狀態是否達到預設條件；當緩沖日志區的狀態達到預設條件時，將緩沖日志區中的業務日志轉存到長期存儲介質中；根據喚醒日志區中已有的查詢條件，更新喚醒日志區的查詢結果集，以實現針對業務日志的查詢。

技術領域

本發明涉及Java Web領域，并且更具體地，涉及一種用于對并發生成的業務日志的處理方法和系統。

背景技術

在常規的傳統web項目中，常常需要各類日志輸出，用以幫助管理人員定位問題、監控危險操作等。一般日志分為兩類：

(1)系統日志：指系統級和代碼級的調試信息，用于系統排查錯誤和程序調試；

(2)業務日志：指業務范疇和安全權限變更的相關操作記錄，用于監控用戶關鍵操作等。

現在常用的做法一般是業務處理代碼中加入額外的日志代碼向用戶數據庫業務日志表中插入日志記錄，雖然這種方式在低并發場景下有編碼簡單易懂，實時性高等優點，但是在高并發的環境下就顯得力不從心了。在日常使用場景中，業務日志會被高頻調用，用戶量達到一定量后，會頻繁的進行數據庫讀寫、請求數據源連接需求，對應用程序和數據庫都造成很大負擔，導致系統響應遲緩甚至卡死，阻滯業務功能響應、嚴重降低用戶體驗。

發明內容

本發明目的在于提供一種用于對并發生成的業務日志的處理方法和系統，解決高并發下插入、查詢業務日志時引發的系統壓力所導致的系統響應遲緩等問題。

根據本發明的一方面，提供一種用于對并發生成的業務日志的處理方法，所述方法包括，

將并發生成的業務日志寫入緩沖日志區；

判斷緩沖日志區的狀態是否達到預設條件；

當緩沖日志區的狀態達到預設條件時，將緩沖日志區中的業務日志轉存到長期存儲介質中；以及

根據喚醒日志區中已有的查詢條件，更新喚醒日志區的查詢結果集，以實現針對業務日志的查詢。

優選地，所述預設條件為：緩沖日志區內緩存的業務日志的數據大小是否達到臨界值。

優選地，所述預設條件為：間隔時間是否滿足進行同步操作的預定時間段。

優選地，當間隔時間滿足進行同步操作的預定時間段時，若緩沖日志區內沒有數據，則中斷同步并重新開始計時。

優選地，通過調用插入接口將業務日志寫入到緩沖日志區。

優選地，所述喚醒日志區存儲的數據為查詢條件與查詢結果集的對應關系，其中所述查詢條件不包括分頁條件和時間維度。

優選地，所述針對業務日志的查詢為：

獲得緩沖日志區中符合查詢條件的業務日志的集合R1；

查詢喚醒日志區中是否存在符合查詢條件的查詢結果集；

若喚醒日志區中存在符合查詢條件的查詢結果集，則根據查詢結果集的內容獲得業務日志的集合R2；

若喚醒日志區中不存在符合查詢條件的查詢結果集，則在長期存儲介質中進行查詢并獲取符合查詢條件的業務日志的集合R2，并更新喚醒日志區的查詢結果集；

計算R1和R2的并集R^-，并對R^-進行時間維度和分頁條件的過濾，得到所有符合查詢條件的業務日志的集合R。

優選地，所述過濾方法為迭代遍歷法。