[發明專利]日志數據處理方法及系統

有效

• 申請號: 201310341764.2
• 申請日: 2013-08-07
• 公開（公告）號: CN103401937A
• 公開（公告）日: 2013-11-20
• 發明（設計）人: 韓冀中;王旻;李勇;張章;孟丹
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立

1.一種日志數據處理方法，其特征在于，包括：

步驟一，設置每個發送端都與所有的服務器相連；

步驟二，發送端為自身產生的每條日志分配一個日志標識；

步驟三，發送端查詢發送記錄表中是否存在待發送日志的日志標識，若存在則從發送記錄表中獲取與該待發送日志的日志標識對應的服務器標識，該服務器標識對應的服務器即為選擇的服務器；

步驟四，發送端將待發送日志數據直接發送給選擇的服務器。

2.根據權利要求1所述的日志數據處理方法，其特征在于，所述步驟三中，若發送記錄表中不存在待發送日志的日志標識，則使用服務器選取函數為待發送日志選擇服務器，所述服務器選取函數的輸入為日志標識，輸出為服務器，此時所述日志數據處理方法還包括：

步驟五，將已發送日志的日志標識與接收該已發送日志的服務器的對應關系記錄到發送記錄表中。

3.根據權利要求1所述的日志數據處理方法，其特征在于，還包括：

步驟六，各個服務器定時向監控中心報告自身的負載信息；

步驟七，監控中心判斷各個服務器負載是否均衡；

步驟八，若判斷結果為不均衡時，監控中心更新服務器選取函數，并將更新后的服務器選取函數發送給所有發送端；

步驟九，發送端根據更新后的服務器選取函數選擇接收待發送日志的服務器。

4.根據權利要求3所述的日志數據處理方法，其特征在于，所述步驟七包括：

計算各個服務器的加權負載值，加權負載值等于所有的加權因素與其加權因子的乘積之和，所述加權因素和加權因子預先設定；

獲取最大的加權負載值和最小的加權負載值；

計算最大加權負載值與最小加權負載值的差值；

若所述差值小于0.25，則判定服務器負載均衡，否則判定服務器負載不均衡。

5.根據權利要求4所述的日志數據處理方法，其特征在于，步驟八中，更新服務器選取函數包括：

計算1與服務器的加權負載值的差，記為該服務器的空閑值；

計算所有服務器的空閑值的和，記為整體空閑值；

計算服務器的空閑值與整體空閑值的商，記為該服務器的相對比例，該相對比例即為服務器被選取為接收服務器的比例；

以日志標識為輸入，將日志標識的分布空間劃分為N份，每份的比例與服務器的相對比例對應，其中，N為服務器的個數。

6.一種日志數據處理系統，其特征在于，包括：

設置模塊，用于設置每個發送端都與所有的服務器相連；

分配模塊，設置于發送端中，用于為發送端產生的每條日志分配一個日志標識；

選擇模塊，設置于發送端中，用于查詢發送記錄表中是否存在待發送日志的日志標識，若存在則從發送記錄表中獲取與該待發送日志的日志標識對應的服務器標識，該服務器標識對應的服務器即為選擇的服務器；

發送模塊，設置于發送端中，用于將待發送日志數據直接發送給選擇模塊選擇的服務器。

7.根據權利要求6所述的日志數據處理系統，其特征在于，所述選擇模塊還用于在發送記錄表中不存在待發送日志的日志標識時，使用服務器選取函數為待發送日志選擇服務器，所述服務器選取函數的輸入為日志標識，輸出為服務器，此時所述日志數據處理系統還包括：

記錄模塊，用于將已發送日志的日志標識與接收該已發送日志的服務器的對應關系記錄到發送記錄表中。

8.根據權利要求6所述的日志數據處理系統，其特征在于，還包括：

報告模塊，設置于服務器中，用于定時向監控中心報告自身所在服務器的負載信息；

判斷模塊，設置于監控中心中，用于判斷各個服務器負載是否均衡；

更新模塊，設置于監控中心中，用于在判斷模塊的判斷結果為不均衡時，更新服務器選取函數，并將更新后的服務器選取函數發送給所有發送端；

調整模塊，設置于發送端中，用于調整所述選擇模塊根據更新模塊更新后的服務器選取函數選擇的接收待發送日志的服務器。