[發(fā)明專利]線上場(chǎng)景特征數(shù)據(jù)存儲(chǔ)方法、系統(tǒng)和數(shù)據(jù)抽取系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710700601.7
• 申請(qǐng)日: 2017-08-16
• 公開(kāi)（公告）號(hào): CN107451292A
• 公開(kāi)（公告）日: 2017-12-08
• 發(fā)明（設(shè)計(jì)）人: 李志鵬;余文虎;陳璐
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所11038
• 代理人: 趙倩男

1.一種線上場(chǎng)景特征數(shù)據(jù)存儲(chǔ)方法，其特征在于，包括：

數(shù)據(jù)抽取系統(tǒng)獲取客戶端集群計(jì)算的線上場(chǎng)景特征數(shù)據(jù)；

將所述線上場(chǎng)景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表中進(jìn)行存儲(chǔ)，以便根據(jù)所述線上場(chǎng)景特征數(shù)據(jù)進(jìn)行場(chǎng)景回放。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述數(shù)據(jù)抽取系統(tǒng)抽取服務(wù)器集群在本地磁盤(pán)存儲(chǔ)的所述客戶端集群計(jì)算的線上場(chǎng)景特征數(shù)據(jù)；

其中，所述客戶端集群將所述線上場(chǎng)景特征數(shù)據(jù)異步發(fā)送至所述服務(wù)器集群，所述服務(wù)器集群將所述線上場(chǎng)景特征數(shù)據(jù)存儲(chǔ)在本地磁盤(pán)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所示數(shù)據(jù)抽取系統(tǒng)使用wget的方式將所述服務(wù)器集群在本地磁盤(pán)存儲(chǔ)的所述線上場(chǎng)景特征數(shù)據(jù)抽取到臨時(shí)倉(cāng)庫(kù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括：

所示數(shù)據(jù)抽取系統(tǒng)對(duì)所述線上場(chǎng)景特征數(shù)據(jù)進(jìn)行壓縮和/或過(guò)濾處理。

5.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，

所述數(shù)據(jù)抽取系統(tǒng)根據(jù)線上場(chǎng)景特征數(shù)據(jù)類(lèi)型的不同將所述線上場(chǎng)景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表的相應(yīng)的分區(qū)進(jìn)行存儲(chǔ)。

6.一種數(shù)據(jù)抽取系統(tǒng)，其特征在于，包括：

特征數(shù)據(jù)獲取單元，用于獲取客戶端集群計(jì)算的線上場(chǎng)景特征數(shù)據(jù)；

特征數(shù)據(jù)推送單元，用于將所述線上場(chǎng)景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表中進(jìn)行存儲(chǔ)，以便根據(jù)所述線上場(chǎng)景特征數(shù)據(jù)進(jìn)行場(chǎng)景回放。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)抽取系統(tǒng)，其特征在于，

所述特征數(shù)據(jù)獲取單元還用于抽取服務(wù)器集群在本地磁盤(pán)存儲(chǔ)的所述客戶端集群計(jì)算的線上場(chǎng)景特征數(shù)據(jù)；

其中，所述客戶端集群將所述線上場(chǎng)景特征數(shù)據(jù)異步發(fā)送至所述服務(wù)器集群，所述服務(wù)器集群將所述線上場(chǎng)景特征數(shù)據(jù)存儲(chǔ)在本地磁盤(pán)。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)抽取系統(tǒng)，其特征在于，

所述特征數(shù)據(jù)獲取單元還用于使用wget的方式將所述服務(wù)器集群在本地磁盤(pán)存儲(chǔ)的所述線上場(chǎng)景特征數(shù)據(jù)抽取到臨時(shí)倉(cāng)庫(kù)。

9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)抽取系統(tǒng)，其特征在于，還包括：

特征數(shù)據(jù)處理單元，用于對(duì)所述線上場(chǎng)景特征數(shù)據(jù)進(jìn)行壓縮和/或過(guò)濾處理。

10.根據(jù)權(quán)利要求6-9任一所述的數(shù)據(jù)抽取系統(tǒng)，其特征在于，

所述特征數(shù)據(jù)推送單元還用于根據(jù)線上場(chǎng)景特征數(shù)據(jù)類(lèi)型的不同將所述線上場(chǎng)景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表的相應(yīng)的分區(qū)進(jìn)行存儲(chǔ)。

11.一種線上場(chǎng)景特征數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，包括客戶端集群、hadoop集群和權(quán)利要求6-10任一所述的數(shù)據(jù)抽取系統(tǒng)。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，還包括服務(wù)器集群。

13.一種數(shù)據(jù)抽取系統(tǒng)，其特征在于，包括：

存儲(chǔ)器；以及

耦接至所述存儲(chǔ)器的處理器，所述處理器被配置為基于存儲(chǔ)在所述存儲(chǔ)器的指令執(zhí)行如權(quán)利要求1至5任一項(xiàng)所述的方法。

14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至5任一項(xiàng)所述的方法的步驟。