[發(fā)明專利]一種日志數(shù)據(jù)記錄的方法、日志服務(wù)器及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310306476.3
• 申請日: 2013-07-19
• 公開（公告）號: CN104301360B
• 公開（公告）日: 2019-03-12
• 發(fā)明（設(shè)計(jì)）人: 劉賓
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝

1.一種日志數(shù)據(jù)記錄的方法，其特征在于，包括：

將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合；

確定用于存儲所述日志集合的數(shù)據(jù)存儲服務(wù)器；

在所述數(shù)據(jù)存儲服務(wù)器上生成所述日志集合的數(shù)據(jù)表，并將所述日志集合中的所有日志數(shù)據(jù)導(dǎo)入所述數(shù)據(jù)表；

在所述日志集合的所有日志數(shù)據(jù)全部導(dǎo)入所述數(shù)據(jù)表之后，為所述日志集合的數(shù)據(jù)表創(chuàng)建索引；

判斷所述數(shù)據(jù)存儲服務(wù)器在預(yù)設(shè)的存儲時間內(nèi)是否返回存儲完成信息；所述存儲完成信息為所述存儲服務(wù)器在完成將所述日志集合中的所有日志數(shù)據(jù)導(dǎo)入所述數(shù)據(jù)表并為所述數(shù)據(jù)表創(chuàng)建索引之后返回的信息；

如果否，則從未曾被確定用于存儲所述日志集合的存儲服務(wù)器中重新確定用于存儲所述日志集合的數(shù)據(jù)存儲服務(wù)器，在重新確定的數(shù)據(jù)存儲服務(wù)器上生成所述日志集合的數(shù)據(jù)表，并將所述日志集合中的所有日志數(shù)據(jù)導(dǎo)入所述數(shù)據(jù)表。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合，包括：

從分布式文件系統(tǒng)中，獲取前一次組成日志集合時刻之后生成的日志數(shù)據(jù)；

判斷所述日志數(shù)據(jù)的條數(shù)是否達(dá)到預(yù)設(shè)的獲取數(shù)據(jù)數(shù)量閾值；

如果否，則等待第一等待時間之后返回所述判斷所述獲取前一次組成日志集合時刻之后生成的日志數(shù)據(jù)的步驟；

如果是，則將所述日志數(shù)據(jù)組成日志集合；所述日志集合對應(yīng)的時間段為前一次組成日志集合的時刻至本次組成日志集合的時刻。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合，包括：

判斷獲取等待時間是否達(dá)到預(yù)設(shè)的等待時間閾值，所述獲取等待時間為當(dāng)前時刻與前一次組成日志集合的時刻之間的時間；

如果否，則等待第二等待時間之后返回所述判斷獲取等待時間是否達(dá)到預(yù)設(shè)的等待時間閾值的步驟；

如果是，則從分布式文件系統(tǒng)中，獲取前一次組成日志集合時刻之后生成的日志數(shù)據(jù)，并將所述日志數(shù)據(jù)組成一個日志集合；所述日志集合對應(yīng)的時間段為前一次組成日志集合的時刻至本次組成日志集合的時刻。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述日志獲取條件為按照日志數(shù)據(jù)的時間順序獲取日志，所述日志集合中所有日志數(shù)據(jù)的時間屬于同一時間段；

相應(yīng)的，將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合之后，還包括：將所述日志集合中的日志數(shù)據(jù)按照業(yè)務(wù)類型分類，形成至少一個日志子集合；

相應(yīng)的，所述在所述數(shù)據(jù)存儲服務(wù)器上生成所述日志集合的數(shù)據(jù)表，包括：

根據(jù)所述日志集合中每個日志子集合中的日志數(shù)據(jù)，對應(yīng)生成每個日志子集合的子數(shù)據(jù)表；

將所述日志集合中所有日志子集合的子數(shù)據(jù)表組合成所述日志集合的數(shù)據(jù)表。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定用于存儲所述日志集合的數(shù)據(jù)存儲服務(wù)器，具體為：確定用于存儲所述日志集合的數(shù)據(jù)存儲服務(wù)器中當(dāng)前未執(zhí)行寫任務(wù)的磁盤。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

按照預(yù)設(shè)的刪除時間周期性刪除所述數(shù)據(jù)存儲服務(wù)器中未完成存儲的日志集合。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述數(shù)據(jù)存儲服務(wù)器上生成所述日志集合的數(shù)據(jù)表之后，還包括：

按照預(yù)設(shè)的合并時間周期性判斷所述數(shù)據(jù)存儲服務(wù)器上是否存在日志數(shù)據(jù)數(shù)量小于預(yù)設(shè)的存儲數(shù)量閾值的數(shù)據(jù)表；如果是，則將所述日志數(shù)據(jù)數(shù)量小于存儲數(shù)量閾值的數(shù)據(jù)表合并。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述為所述日志集合的數(shù)據(jù)表創(chuàng)建索引之后，還包括：

將所述日志集合的數(shù)據(jù)表存儲為獨(dú)立的數(shù)據(jù)表文件集合；

復(fù)制所述日志集合對應(yīng)的數(shù)據(jù)表文件集合中的數(shù)據(jù)表文件；

從未存儲所述數(shù)據(jù)表文件的存儲服務(wù)器中確定用于存儲所述復(fù)制得到的所述數(shù)據(jù)表文件的備份存儲服務(wù)器；

將所述復(fù)制得到的數(shù)據(jù)表文件一一對應(yīng)的存儲到所述備份存儲服務(wù)器當(dāng)前未執(zhí)行寫任務(wù)的磁盤中。