[發明專利]一種日志數據記錄的方法、日志服務器及系統

有效

• 申請號: 201310306476.3
• 申請日: 2013-07-19
• 公開（公告）號: CN104301360B
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 劉賓
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

1.一種日志數據記錄的方法，其特征在于，包括：

將根據日志獲取條件獲取到的日志數據組成日志集合；

確定用于存儲所述日志集合的數據存儲服務器；

在所述數據存儲服務器上生成所述日志集合的數據表，并將所述日志集合中的所有日志數據導入所述數據表；

在所述日志集合的所有日志數據全部導入所述數據表之后，為所述日志集合的數據表創建索引；

判斷所述數據存儲服務器在預設的存儲時間內是否返回存儲完成信息；所述存儲完成信息為所述存儲服務器在完成將所述日志集合中的所有日志數據導入所述數據表并為所述數據表創建索引之后返回的信息；

如果否，則從未曾被確定用于存儲所述日志集合的存儲服務器中重新確定用于存儲所述日志集合的數據存儲服務器，在重新確定的數據存儲服務器上生成所述日志集合的數據表，并將所述日志集合中的所有日志數據導入所述數據表。

2.根據權利要求1所述的方法，其特征在于，所述將根據日志獲取條件獲取到的日志數據組成日志集合，包括：

從分布式文件系統中，獲取前一次組成日志集合時刻之后生成的日志數據；

判斷所述日志數據的條數是否達到預設的獲取數據數量閾值；

如果否，則等待第一等待時間之后返回所述判斷所述獲取前一次組成日志集合時刻之后生成的日志數據的步驟；

如果是，則將所述日志數據組成日志集合；所述日志集合對應的時間段為前一次組成日志集合的時刻至本次組成日志集合的時刻。

3.根據權利要求1所述的方法，其特征在于，所述將根據日志獲取條件獲取到的日志數據組成日志集合，包括：

判斷獲取等待時間是否達到預設的等待時間閾值，所述獲取等待時間為當前時刻與前一次組成日志集合的時刻之間的時間；

如果否，則等待第二等待時間之后返回所述判斷獲取等待時間是否達到預設的等待時間閾值的步驟；

如果是，則從分布式文件系統中，獲取前一次組成日志集合時刻之后生成的日志數據，并將所述日志數據組成一個日志集合；所述日志集合對應的時間段為前一次組成日志集合的時刻至本次組成日志集合的時刻。

4.根據權利要求1所述的方法，其特征在于，所述日志獲取條件為按照日志數據的時間順序獲取日志，所述日志集合中所有日志數據的時間屬于同一時間段；

相應的，將根據日志獲取條件獲取到的日志數據組成日志集合之后，還包括：將所述日志集合中的日志數據按照業務類型分類，形成至少一個日志子集合；

相應的，所述在所述數據存儲服務器上生成所述日志集合的數據表，包括：

根據所述日志集合中每個日志子集合中的日志數據，對應生成每個日志子集合的子數據表；

將所述日志集合中所有日志子集合的子數據表組合成所述日志集合的數據表。

5.根據權利要求1所述的方法，其特征在于，所述確定用于存儲所述日志集合的數據存儲服務器，具體為：確定用于存儲所述日志集合的數據存儲服務器中當前未執行寫任務的磁盤。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

按照預設的刪除時間周期性刪除所述數據存儲服務器中未完成存儲的日志集合。

7.根據權利要求1所述的方法，其特征在于，所述在所述數據存儲服務器上生成所述日志集合的數據表之后，還包括：

按照預設的合并時間周期性判斷所述數據存儲服務器上是否存在日志數據數量小于預設的存儲數量閾值的數據表；如果是，則將所述日志數據數量小于存儲數量閾值的數據表合并。

8.根據權利要求1所述的方法，其特征在于，所述為所述日志集合的數據表創建索引之后，還包括：

將所述日志集合的數據表存儲為獨立的數據表文件集合；

復制所述日志集合對應的數據表文件集合中的數據表文件；

從未存儲所述數據表文件的存儲服務器中確定用于存儲所述復制得到的所述數據表文件的備份存儲服務器；

將所述復制得到的數據表文件一一對應的存儲到所述備份存儲服務器當前未執行寫任務的磁盤中。