[發明專利]一種用于Nginx日志實時處理分析的方法及終端

有效

• 申請號: 202110559722.0
• 申請日: 2021-05-21
• 公開（公告）號: CN113312376B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 劉德建;王張浩;陳宏
• 申請（專利權）人: 福建天泉教育科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/2458;G06F16/28
• 代理公司: 福州市博深專利事務所(普通合伙) 35214
• 代理人: 張明

1.一種用于Nginx日志實時處理分析的方法，其特征在于，包括步驟：

S1、實時采集并存儲Nginx日志；

S2、將所述Nginx日志中滿足預設參數的原文數據聚合壓縮，得到并存儲聚合后的查詢數據至查詢數據庫；

S3、接收分析查詢請求，從所述查詢數據庫中獲取并返回與所述分析查詢請求相對應的查詢結果；

所述預設參數包括維度變量和指標變量，所述維度變量包括服務維度、時間維度、接口維度、產品維度和用戶維度，所述指標變量包括總請求數、錯誤請求數、慢響應請求數；

所述步驟S2具體包括以下步驟：

將所述Nginx日志中滿足同一所述預設參數的原文數據聚合壓縮成一條并統計對應所述原文數據的個數，得到并存儲聚合后的查詢數據至查詢數據庫；

獲取所述Nginx日志的原文數據中的域名信息、原始時間戳、接口字段、產品ID、已加密Token字符串、狀態碼和響應時間，將所述域名信息通過映射關系轉換為服務名稱，將所述原始時間戳轉換為所支持查詢分析的時間級，得到時間信息，對所述接口字段替換成RestFul格式的接口信息，從MySQL中的關聯映射表中查詢所述產品ID所對應的產品名稱，通過賬號中心接口對所述Token字符串進行解密得到用戶ID，根據所述狀態碼和所述響應時間對應統計到每一個所述指標變量上，得到包括所述服務名稱、所述時間信息、所述接口信息、所述產品名稱、所述用戶ID以及每一個所述指標變量的統計結果的中間過程數據；

將所述中間過程數據按照所述維度變量進行分組并按照分組對所述指標變量進行聚合統計，得到查詢數據；

將所述查詢數據存儲至查詢數據庫。

2.根據權利要求1所述的一種用于Nginx日志實時處理分析的方法，其特征在于，所述步驟S1具體包括以下步驟：

通過日志采集工具將各服務器上的Nginx日志統一實時采集并按照預設格式存儲到服務集群中，每條所述Nginx日志的原文數據記錄著來自外部的一個HTTP請求的信息。

3.根據權利要求1所述的一種用于Nginx日志實時處理分析的方法，其特征在于，所述步驟S2中所述對所述接口字段替換成RestFul格式的接口信息具體包括以下步驟：

判斷所述接口字段是否在接口管理工具中注冊，若有注冊，則從所述接口管理工具中獲取RestFul格式的接口注冊信息，將所述接口注冊信息替換為正則表達式，通過所述正則表達式與所述接口字段進行匹配，若匹配成功，則使用所述接口注冊信息作為接口信息；

若沒有在接口管理工具中注冊，則根據預設的轉換規則將接口路徑中的字符串替換成對應的占位符。

4.根據權利要求3所述的一種用于Nginx日志實時處理分析的方法，其特征在于，所述步驟S2中所述根據預設的轉換規則將所述接口路徑中的字符串替換成對應的占位符具體包括以下步驟：

將所述接口路徑中的字符串中符合全數字、UUID格式、64位以上TOKEN字符串以及末尾有文件名后綴的分別替換成對應的占位符。

5.根據權利要求1所述的一種用于Nginx日志實時處理分析的方法，其特征在于，所述步驟S2具體包括以下步驟：

將所述Nginx日志中滿足預設參數的原文數據聚合壓縮，得到聚合后的查詢數據；

將聚合后的所述查詢數據存儲在Hive數據庫，所述Hive數據庫中每一張Hive表格中的每一個分區所對應的分區字段包括日期和小時。

6.根據權利要求5所述的一種用于Nginx日志實時處理分析的方法，其特征在于，所述步驟S2中所述將聚合后的所述查詢數據存儲在Hive數據庫具體包括以下步驟：

每當進入新的一個小時時，通過一合并程序將上一個小時分區中所存儲的所有原有數據進行讀取并合并成一個新的數據文件，將所述新的數據文件以覆蓋的形式寫回所述上一個小時分區中。