[發(fā)明專利]一種日志數(shù)據(jù)記錄的方法、日志服務(wù)器及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310306476.3
• 申請(qǐng)日: 2013-07-19
• 公開（公告）號(hào): CN104301360B
• 公開（公告）日: 2019-03-12
• 發(fā)明（設(shè)計(jì)）人: 劉賓
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/24
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝

本申請(qǐng)實(shí)施例公開了一種日志數(shù)據(jù)記錄的方法、日志服務(wù)器及系統(tǒng)，該日志數(shù)據(jù)記錄方法包括：將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合；確定用于存儲(chǔ)所述日志集合的數(shù)據(jù)存儲(chǔ)服務(wù)器；將所述日志集合存儲(chǔ)到所述數(shù)據(jù)存儲(chǔ)服務(wù)器，并在所述數(shù)據(jù)存儲(chǔ)服務(wù)器上生成所述日志集合的數(shù)據(jù)表；在所述日志集合的所有日志數(shù)據(jù)全部導(dǎo)入所述數(shù)據(jù)表之后，為所述日志集合的數(shù)據(jù)表創(chuàng)建索引。采用本申請(qǐng)實(shí)施例的方法、日志服務(wù)器或系統(tǒng)，可以提高日志數(shù)據(jù)的儲(chǔ)存速度，從而使得網(wǎng)絡(luò)平臺(tái)能夠及時(shí)地記錄短時(shí)間內(nèi)產(chǎn)生的大量日志數(shù)據(jù)，防止數(shù)據(jù)丟失并且縮短用戶查詢的延遲時(shí)間。

技術(shù)領(lǐng)域

本申請(qǐng)涉及網(wǎng)絡(luò)數(shù)據(jù)處理領(lǐng)域，特別是涉及一種日志數(shù)據(jù)記錄的方法、日志服務(wù)器及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)通訊越來(lái)越普及，與網(wǎng)絡(luò)平臺(tái)之間通過(guò)網(wǎng)絡(luò)交互的用戶數(shù)量越來(lái)越多，用戶與平臺(tái)之間交互的次數(shù)也越來(lái)越多。為了便于用戶能夠查詢到已完成的交互的有關(guān)信息，通常采用的方式是網(wǎng)絡(luò)平臺(tái)將交互信息生成用戶的日志數(shù)據(jù)，然后記錄各個(gè)用戶的各個(gè)交互產(chǎn)生的日志數(shù)據(jù)，這樣，在用戶需要查詢已完成的交互信息時(shí)，可以直接在網(wǎng)絡(luò)平臺(tái)所記錄的日志數(shù)據(jù)總查找該交互所對(duì)應(yīng)的日志數(shù)據(jù)，然后再將查找到的日志數(shù)據(jù)返回給用戶，這樣查詢者就可以獲得所需的交互信息。

在現(xiàn)有的日志數(shù)據(jù)記錄方法中，每當(dāng)產(chǎn)生一條用戶日志數(shù)據(jù)，日志服務(wù)系統(tǒng)就將該條日志數(shù)據(jù)插入存儲(chǔ)到系統(tǒng)中的某一臺(tái)存儲(chǔ)設(shè)備上，這樣，為了在用戶查詢時(shí)日志服務(wù)系統(tǒng)能在日志存儲(chǔ)設(shè)備中找到日志數(shù)據(jù)的存儲(chǔ)位置，在將每條日志數(shù)據(jù)插入的同時(shí)都要對(duì)日志存儲(chǔ)設(shè)備中的索引進(jìn)行一次更新。

通過(guò)現(xiàn)有技術(shù)來(lái)記錄日志數(shù)據(jù)，由于每插入一條日志都需要對(duì)日志存儲(chǔ)設(shè)備的索引進(jìn)行一次更新，所以日志數(shù)據(jù)記錄的速度較慢，導(dǎo)致日志數(shù)據(jù)記錄的效率較低。而進(jìn)一步的，當(dāng)前由于網(wǎng)絡(luò)平臺(tái)業(yè)務(wù)量的增大，網(wǎng)絡(luò)平臺(tái)上產(chǎn)生的日志數(shù)據(jù)數(shù)量越來(lái)越多，通過(guò)現(xiàn)有技術(shù)來(lái)記錄日志數(shù)據(jù)，難以及時(shí)地記錄產(chǎn)生的大量日志數(shù)據(jù)，這樣，不僅會(huì)造成日志數(shù)據(jù)的丟失，也會(huì)致使用戶在交互完成之后的較長(zhǎng)時(shí)間內(nèi)查詢不到交互信息，也即用戶查詢的延遲時(shí)間較長(zhǎng)。

發(fā)明內(nèi)容

本申請(qǐng)所要解決的技術(shù)問(wèn)題是，提供一種日志數(shù)據(jù)記錄的方法、裝置及系統(tǒng)，以解決按照現(xiàn)有技術(shù)中日志數(shù)據(jù)記錄的方式導(dǎo)致的日志數(shù)據(jù)記錄的效率較低的技術(shù)問(wèn)題，進(jìn)一步的，還能解決短時(shí)間內(nèi)產(chǎn)生日志數(shù)據(jù)達(dá)到億級(jí)別數(shù)量的網(wǎng)絡(luò)平臺(tái)難以及時(shí)地記錄產(chǎn)生的大量日志數(shù)據(jù)而造成的日志數(shù)據(jù)丟失和用戶查詢的延遲時(shí)間較長(zhǎng)的技術(shù)問(wèn)題。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提供了一種日志數(shù)據(jù)記錄的方法，該方法包括：

將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合；

確定用于存儲(chǔ)所述日志集合的數(shù)據(jù)存儲(chǔ)服務(wù)器；

在所述數(shù)據(jù)存儲(chǔ)服務(wù)器上生成所述日志集合的數(shù)據(jù)表，并將所述日志集合中的所有日志數(shù)據(jù)導(dǎo)入所述數(shù)據(jù)表；

在所述日志集合的所有日志數(shù)據(jù)全部導(dǎo)入所述數(shù)據(jù)表之后，為所述日志集合的數(shù)據(jù)表創(chuàng)建索引。

優(yōu)選的，所述將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合，包括：

從分布式文件系統(tǒng)中，獲取前一次組成日志集合時(shí)刻之后生成的日志數(shù)據(jù)；

判斷所述日志數(shù)據(jù)的條數(shù)是否達(dá)到預(yù)設(shè)的獲取數(shù)據(jù)數(shù)量閾值；

如果否，則等待第一等待時(shí)間之后返回所述判斷所述獲取前一次組成日志集合時(shí)刻之后生成的日志數(shù)據(jù)的步驟；

如果是，則將所述日志數(shù)據(jù)組成日志集合；所述日志集合對(duì)應(yīng)的時(shí)間段為前一次組成日志集合的時(shí)刻至本次組成日志集合的時(shí)刻。

優(yōu)選的，所述將根據(jù)日志獲取條件獲取到的日志數(shù)據(jù)組成日志集合，包括：

判斷獲取等待時(shí)間是否達(dá)到預(yù)設(shè)的等待時(shí)間閾值，所述獲取等待時(shí)間為當(dāng)前時(shí)刻與前一次組成日志集合的時(shí)刻之間的時(shí)間；