[發明專利]海量日志信息的處理方法、裝置與系統

有效

• 申請號: 201310021400.6
• 申請日: 2013-01-21
• 公開（公告）號: CN103942210B
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 孫樂;孫一凱;邱曉波;王曉東
• 申請（專利權）人: 中國移動通信集團上海有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 郭潤湘

1.一種海量日志信息的處理方法，其特征在于，包括：

日志服務器接收來自日志客戶端的日志信息；

根據預定的告警規則，判斷接收到的日志信息為告警日志信息的情況下，將告警日志信息發送給告警處理裝置；

根據非告警日志信息的類別和接收日志信息的時間，將非告警日志信息分別存儲到關系型數據庫、所述日志服務器的內存數據庫或者文件系統，其中，日志信息的類別與針對日志信息進行操作的操作類別相對應，存儲到關系型數據庫中的日志信息為統計操作提供數據基礎，存儲到所述日志服務器的內存數據庫中的日志信息為實時的查詢操作提供數據基礎，存儲到文件系統中的日志信息為非實時的查詢操作提供數據基礎；

其中，日志服務器接收來自日志客戶端的日志信息，具體包括：在接收到來自所述日志客戶端的請求后，在所述日志服務器當前接收到的日志信息的數據量小于預定的數據量閾值的情況下，向所述日志客戶端返回發送響應；

其中，根據非告警日志信息的類別和接收日志信息的時間，將非告警日志信息分別存儲到關系型數據庫、所述日志服務器的內存數據庫或者文件系統，具體包括：

在非告警日志信息的類別為統計日志信息的情況下，將該日志信息存儲到關系型數據庫中；

在非告警日志信息的類別為非統計日志信息的情況下，在從接收到該日志信息時間起的預定保存周期內，將該日志信息存儲到所述日志服務器的內存數據庫中，在所述日志服務器的內存數據庫中的日志信息保存超過所述預定保存周期后，將保存超過所述預定保存周期的日志信息存儲到所述文件系統中。

2.根據權利要求1所述的方法，其特征在于，日志服務器接收來自日志客戶端的日志信息，具體包括：

所述日志服務器接收來自所述日志客戶端實時發送的日志信息；

在接收到來自所述日志客戶端的請求后，在所述日志服務器當前接收到的日志信息的數據量大于或等于預定的數據量閾值的情況下，向所述日志客戶端返回等待響應。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對接收到的日志信息建立索引表，該索引表中至少包括日志信息中的日志信息的標識、日志信息的生成時間、日志信息的結束時間和日志信息的類別，索引表用于為查詢操作中查詢條件提供索引。

4.根據權利要求1所述的方法，其特征在于，預定的告警規則，具體包括：

包括預定的關鍵字值的日志信息為告警日志信息；或者，

日志信息中所包括的日志信息的結束時間和生成時間之間的時間長度值大于或等于預定的時間長度值。

5.一種海量日志信息的處理裝置，其特征在于，包括：

接收模塊，用于接收來自日志客戶端的日志信息；

告警處理模塊，用于根據預定的告警規則，判斷所述接收模塊接收到的日志信息為告警日志信息的情況下，將告警日志信息發送給告警處理裝置；

存儲模塊，用于根據所述告警處理模塊處理得到的非告警日志信息的類別和接收日志信息的時間，將非告警日志信息分別存儲到關系型數據庫、日志服務器的內存數據庫或者文件系統，其中，日志信息的類別與針對日志信息進行操作的操作類別相對應，存儲到關系型數據庫中的日志信息為統計操作提供數據基礎，存儲到所述日志服務器的內存數據庫中的日志信息為實時的查詢操作提供數據基礎，存儲到文件系統中的日志信息為非實時的查詢操作提供數據基礎；

其中，所述接收模塊，具體用于：在接收到來自所述日志客戶端的請求后，在所述日志服務器當前接收到的日志信息的數據量小于預定的數據量閾值的情況下，向所述日志客戶端返回發送響應；

其中，所述存儲模塊，具體用于：

在非告警日志信息的類別為統計日志信息的情況下，將該日志信息存儲到關系型數據庫中；

在非告警日志信息的類別為非統計日志信息的情況下，在從接收到該日志信息時間起的預定保存周期內，將該日志信息存儲到所述日志服務器的內存數據庫中，在所述日志服務器的內存數據庫中的日志信息保存超過所述預定保存周期后，將保存超過所述預定保存周期的日志信息存儲到所述文件系統中。