[發明專利]一種被動式生產、消費計算機日志的需求實現方法及系統

在審

• 申請號: 201710210560.3
• 申請日: 2017-03-31
• 公開（公告）號: CN107025163A
• 公開（公告）日: 2017-08-08
• 發明（設計）人: 張晶磊;趙麗敏
• 申請（專利權）人: 北京商辦通互聯網科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34;G06F17/30
• 代理公司: 北京卓唐知識產權代理有限公司11541
• 代理人: 龔潔

技術領域

本發明涉及日志分析領域，特別涉及一種被動式生產、消費計算機日志的實現方法及系統。

背景技術

計算機日志在計算機系統中是一個非常廣泛的概念，任何程序都有可能輸出日志：操作系統內核、各種應用服務器等等。日志的內容、規模和用途也各不相同。比如，Web日志，可能包括但不限于各種前端Web服務器：apache、lighttpd、tomcat等產生的用戶訪問日志，以及各種Web應用程序自己輸出的日志。在Web日志中，每條日志通常代表著用戶的一次訪問行為。從一條日志中，可以得到很多有用的信息，例如訪問者的IP、訪問的時間、訪問的目標網頁、來源的地址以及訪問者所使用的客戶端的UserAgent信息等。如果需要更多的信息，則要用其它手段去獲取：例如想得到用戶屏幕的分辨率，一般需要使用js代碼單獨發送請求；而如果想得到諸如用戶訪問的具體新聞標題等信息，則可能需要Web應用程序在自己的代碼里輸出。然而，如何在具有日志關聯性的系統之間，如何實現生產日志、消費日志從而實現日志的需求，是目前有待解決的問題。

發明內容

本發明要解決的技術問題是，讓軟件開發人員通過簡單的基本操作完成過去海量的編碼勞動，提高工作效率。

本系統處在具有日志關聯性的系統之間，屬于一種中間件產品。

解決上述技術問題，本發明提供了一種被動式生產、消費計算機日志的需求實現方法,包括如下步驟：

根據需求記錄業務操作的日志，并按照已校驗規范在數據庫中生成對應的數據庫日志；

將所述數據庫日志按照分布式隊列的方式輸入到日志消費隊列中；

在所述日志消費隊列中按照所屬的消費者組，在同組的消費者中完成消費。

更進一步，根據需求記錄業務操作的日志的方法具體為：

根據需求生成配置文件，

在配置文件中添加配置節點，

根據所述配置節點，添加自定義信息，

對上述配置節點進行檢查，若確認無誤，則將捕獲的屬性信息和所述自定義信息合并，然后再提交至數據庫中。

更進一步，所述配置文件按照XML和/或JSON格式儲存。

更進一步，按照已校驗規范在數據庫中生成對應的數據庫日志包括如下步驟：

根據需求記錄業務操作的日志中引起數據庫中操作過程，并在數據庫中產生binLog日志。

更進一步，在數據庫中產生binLog日志還包括如下步驟：

監視所述binLog日志的變化：若有新日志產生時，日志轉化讀取新日志，并通過數據庫dump協議將binLog進行解析，

對解析后的binLog日志的不同的格式進行轉換，形成統一protobuf格式數據，

對所述protobuf格式數據的日志進行重復和可用校驗，

若校驗通過，則將所述protobuf格式數據進行持久化后將protobuf格式數據發往分布式隊列。

更進一步，方法還包括：將所述日志消費隊列放置于一需要訂閱日志的系統中，消費者組中的消費者搶奪到日志后，再根據優化算法安排消費，同時上述系統的事件機制后完成消費。優化算法安排消費的方法包括但不限于，排隊優選級、日志優先級、消費優選級等。

基于上述本發明還提供了一種被動式生產、消費計算機日志的需求實現系統,包括：規范定義模塊、日志轉換模塊以及日志訂閱消費模塊，

所述規范定義模塊，用以根據需求記錄業務操作的日志，并按照已校驗規范在數據庫中生成對應的數據庫日志；

所述日志轉換模塊，用以將所述數據庫日志按照分布式隊列的方式輸入到日志消費隊列中；

所述日志訂閱消費模塊，用以在所述日志消費隊列中按照所屬的消費者組，在同組的消費者中完成消費。

更進一步，所述規范定義模塊中的配置方式為XML或者JSON。

更進一步，所述規范定義模塊位于CRM系統中。

更進一步，所述所述日志訂閱消費模塊還用以把數據庫中的binlog日志轉換成與已校驗規范對應的計算機數據結構。

本發明的有益效果：

本發明的方法讓軟件開發人員通過簡單的基本操作完成過去海量的編碼勞動，提高工作效率。本發明中的系統處在具有日志關聯性的系統之間，屬于一種中間件產品，從而在具有日志關聯性的系統之間實現生產日志、消費日志從而實現日志的需求。

附圖說明

圖1是本發明一實施例中的方法流程示意圖；

圖2是本發明一實施例中的系統結構示意圖；