[發(fā)明專利]數(shù)據(jù)處理方法、裝置和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611147953.6
• 申請日: 2016-12-13
• 公開（公告）號: CN108616556B
• 公開（公告）日: 2021-01-19
• 發(fā)明（設(shè)計）人: 孟慶義
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F16/18;G06F16/182
• 代理公司: 北京市惠誠律師事務(wù)所 11353
• 代理人: 逯博

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

分布式在線存儲系統(tǒng)中的存儲節(jié)點根據(jù)待導(dǎo)出的目標(biāo)日志數(shù)據(jù)的數(shù)據(jù)量，將所述目標(biāo)日志數(shù)據(jù)拆分為至少兩個數(shù)據(jù)包；

所述存儲節(jié)點將所述至少兩個數(shù)據(jù)包，分別發(fā)送至日志導(dǎo)出系統(tǒng)中的各采集節(jié)點；

接收到所述數(shù)據(jù)包的采集節(jié)點，根據(jù)所接收到的數(shù)據(jù)包中目標(biāo)日志數(shù)據(jù)的時間戳，將所述目標(biāo)日志數(shù)據(jù)寫入臨時表中對應(yīng)的目標(biāo)時間分區(qū)；

當(dāng)所述分布式在線存儲系統(tǒng)各存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)最小時間戳大于所述目標(biāo)時間分區(qū)的時間上限時，所述日志導(dǎo)出系統(tǒng)中的分區(qū)管理節(jié)點將所述目標(biāo)時間分區(qū)內(nèi)的日志數(shù)據(jù)轉(zhuǎn)存至離線存儲系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述存儲節(jié)點將所述至少兩個數(shù)據(jù)包，分別發(fā)送至日志導(dǎo)出系統(tǒng)中的各采集節(jié)點，包括：

所述存儲節(jié)點將所述至少兩個數(shù)據(jù)包，分別發(fā)送至隨機選擇的采集節(jié)點。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述當(dāng)所述分布式在線存儲系統(tǒng)各存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)最小時間戳大于所述目標(biāo)時間分區(qū)的時間上限時，所述日志導(dǎo)出系統(tǒng)中的分區(qū)管理節(jié)點將所述目標(biāo)時間分區(qū)內(nèi)的日志數(shù)據(jù)轉(zhuǎn)存至離線存儲系統(tǒng)，包括：

所述日志導(dǎo)出系統(tǒng)中的各采集節(jié)點競爭獲得計算權(quán)限；

競爭獲得計算權(quán)限的采集節(jié)點監(jiān)測所述分布式在線存儲系統(tǒng)中每一個存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)的最小時間戳；

所述競爭獲得計算權(quán)限的采集節(jié)點根據(jù)各個存儲節(jié)點中待導(dǎo)出日志數(shù)據(jù)的最小時間戳中的最小值，計算所述分布式在線存儲系統(tǒng)中待導(dǎo)出的日志數(shù)據(jù)的最小時間戳；

所述競爭獲得計算權(quán)限的采集節(jié)點將所述分布式在線存儲系統(tǒng)各存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)最小時間戳，發(fā)送至所述分區(qū)管理節(jié)點；

當(dāng)所述分布式在線存儲系統(tǒng)各存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)最小時間戳大于所述目標(biāo)時間分區(qū)的時間上限時，所述分區(qū)管理節(jié)點將所述目標(biāo)時間分區(qū)內(nèi)的日志數(shù)據(jù)轉(zhuǎn)存至離線存儲系統(tǒng)。

4.根據(jù)權(quán)利要求1-3任一項所述的數(shù)據(jù)處理方法，其特征在于，所述接收到所述數(shù)據(jù)包的采集節(jié)點，根據(jù)所接收到的數(shù)據(jù)包中目標(biāo)日志數(shù)據(jù)的時間戳，將所述目標(biāo)日志數(shù)據(jù)寫入臨時表中對應(yīng)的目標(biāo)時間分區(qū)之前，還包括：

接收到所述數(shù)據(jù)包的采集節(jié)點查詢所接收到的數(shù)據(jù)包所攜帶的來源標(biāo)記；

當(dāng)根據(jù)所述來源標(biāo)記確定出所述數(shù)據(jù)包內(nèi)的目標(biāo)日志數(shù)據(jù)的直接來源不為客戶端時，對所接收到的數(shù)據(jù)包進行刪除。

5.一種日志導(dǎo)出系統(tǒng)，其特征在于，包括：分區(qū)管理節(jié)點和多個采集節(jié)點；

所述采集節(jié)點，用于接收分布式在線存儲系統(tǒng)中各存儲節(jié)點所發(fā)送的數(shù)據(jù)包，根據(jù)所接收到的數(shù)據(jù)包中目標(biāo)日志數(shù)據(jù)的時間戳，將所述目標(biāo)日志數(shù)據(jù)寫入臨時表中對應(yīng)的目標(biāo)時間分區(qū)；

所述分區(qū)管理節(jié)點，用于當(dāng)所述分布式在線存儲系統(tǒng)各存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)最小時間戳大于所述目標(biāo)時間分區(qū)的時間上限時，將所述目標(biāo)時間分區(qū)內(nèi)的日志數(shù)據(jù)轉(zhuǎn)存至離線存儲系統(tǒng)。

6.根據(jù)權(quán)利要求5所述的日志導(dǎo)出系統(tǒng)，其特征在于，

所述采集節(jié)點，還用于競爭獲得計算權(quán)限；當(dāng)競爭獲得計算權(quán)限時，監(jiān)測所述分布式在線存儲系統(tǒng)中每一個存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)的最小時間戳；根據(jù)各個存儲節(jié)點中待導(dǎo)出日志數(shù)據(jù)的最小時間戳中的最小值，計算所述分布式在線存儲系統(tǒng)中待導(dǎo)出的日志數(shù)據(jù)的最小時間戳；將所述分布式在線存儲系統(tǒng)各存儲節(jié)點的待導(dǎo)出日志數(shù)據(jù)最小時間戳，發(fā)送至所述分區(qū)管理節(jié)點。

7.根據(jù)權(quán)利要求5或6所述的日志導(dǎo)出系統(tǒng)，其特征在于，

所述采集節(jié)點，還用于查詢所接收到的數(shù)據(jù)包所攜帶的來源標(biāo)記；當(dāng)根據(jù)所述來源標(biāo)記確定出所述數(shù)據(jù)包內(nèi)的目標(biāo)日志數(shù)據(jù)的直接來源不為客戶端時，對所接收到的數(shù)據(jù)包進行刪除。

8.一種數(shù)據(jù)處理方法，其特征在于，包括：

從分布式在線存儲系統(tǒng)的至少兩個節(jié)點分別接收日志數(shù)據(jù)；

當(dāng)所述分布式在線存儲系統(tǒng)中待導(dǎo)出日志數(shù)據(jù)的最小時間戳大于所接收到的日志數(shù)據(jù)的時間戳?xí)r，將所接收到的日志數(shù)據(jù)寫入到離線系統(tǒng)。