[發明專利]一種被動式生產、消費計算機日志的需求實現方法及系統

在審

• 申請號: 201710210560.3
• 申請日: 2017-03-31
• 公開（公告）號: CN107025163A
• 公開（公告）日: 2017-08-08
• 發明（設計）人: 張晶磊;趙麗敏
• 申請（專利權）人: 北京商辦通互聯網科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34;G06F17/30
• 代理公司: 北京卓唐知識產權代理有限公司11541
• 代理人: 龔潔

1.一種被動式生產、消費計算機日志的需求實現方法,其特征在于，包括如下步驟：

根據需求記錄業務操作的日志，并按照已校驗規范在數據庫中生成對應的數據庫日志；

將所述數據庫日志按照分布式隊列的方式輸入到日志消費隊列中；

在所述日志消費隊列中按照所屬的消費者組，在同組的消費者中完成消費。

2.根據權利要求1所述的需求實現方法,其特征在于，根據需求記錄業務操作的日志的方法具體為：

根據需求生成配置文件，

在配置文件中添加配置節點，

根據所述配置節點，添加自定義信息，

對上述配置節點進行檢查，若確認無誤，則將捕獲的屬性信息和所述自定義信息合并，然后再提交至數據庫中。

3.根據權利要求2所述的需求實現方法,其特征在于，所述配置文件按照XML和/或JSON格式儲存。

4.根據權利要求1所述的需求實現方法,其特征在于，按照已校驗規范在數據庫中生成對應的數據庫日志包括如下步驟：

根據需求記錄業務操作的日志中引起數據庫中操作過程，并在數據庫中產生binLog日志。

5.根據權利要求4所述的需求實現方法,其特征在于，在數據庫中產生binLog日志還包括如下步驟：

監視所述binLog日志的變化：若有新日志產生時，日志轉化讀取新日志，并通過數據庫dump協議將binLog進行解析，

對解析后的binLog日志的不同的格式進行轉換，形成統一protobuf格式數據，

對所述protobuf格式數據的日志進行重復和可用校驗，

若校驗通過，則將所述protobuf格式數據進行持久化后將protobuf格式數據發往分布式隊列。

6.根據權利要求1所述的需求實現方法,其特征在于，還包括：將所述日志消費隊列放置于一需要訂閱日志的系統中，消費者組中的消費者搶奪到日志后，再根據優化算法安排消費，同時上述系統的事件機制后完成消費。

7.一種被動式生產、消費計算機日志的需求實現系統,其特征在于，包括：規范定義模塊、日志轉換模塊以及日志訂閱消費模塊，

所述規范定義模塊，用以根據需求記錄業務操作的日志，并按照已校驗規范在數據庫中生成對應的數據庫日志；

所述日志轉換模塊，用以將所述數據庫日志按照分布式隊列的方式輸入到日志消費隊列中；

所述日志訂閱消費模塊，用以在所述日志消費隊列中按照所屬的消費者組，在同組的消費者中完成消費。

8.根據權利要求1所述的需求實現系統,其特征在于，所述規范定義模塊中的配置方式為XML或者JSON。

9.根據權利要求1所述的需求實現系統,其特征在于，所述規范定義模塊位于CRM系統中。

10.根據權利要求1所述的需求實現系統,其特征在于，所述所述日志訂閱消費模塊還用以把數據庫中的binlog日志轉換成與已校驗規范對應的計算機數據結構。