[發(fā)明專利]線上場景特征數(shù)據(jù)存儲方法、系統(tǒng)和數(shù)據(jù)抽取系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710700601.7
• 申請日: 2017-08-16
• 公開（公告）號: CN107451292A
• 公開（公告）日: 2017-12-08
• 發(fā)明（設(shè)計）人: 李志鵬;余文虎;陳璐
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿(mào)易促進委員會專利商標(biāo)事務(wù)所11038
• 代理人: 趙倩男

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，尤其涉及一種線上場景特征數(shù)據(jù)存儲方法、系統(tǒng)和數(shù)據(jù)抽取系統(tǒng)。

背景技術(shù)

隨著機器學(xué)習(xí)技術(shù)的發(fā)展，算法在我們的生活中有了越來越廣泛的應(yīng)用。在電商領(lǐng)域，精確的推薦算法會給公司帶來極大的收益。因此如何提升算法的準(zhǔn)確性是每個公司都關(guān)心的問題，各大電商也都為此投入了極多的資源。有效地迭代算法模型是提升推薦算法準(zhǔn)確性的關(guān)鍵一環(huán)，在迭代過程中，通常會用到大量的特征作為輸入數(shù)據(jù)，因此，獲取足夠的高質(zhì)量的特征是決定推薦算法精確與否的關(guān)鍵。

例如，線上每次請求會召回一批商品，然后根據(jù)用戶的行為數(shù)據(jù)和用戶模型計算出每個商品的特征。算法模型會根據(jù)每個商品的特征計算出每個商品的得分，最后選出得分最高的幾個商品推薦給用戶。線上計算特征這種行為是一次性的，不會被記錄下來。因此在線下訓(xùn)練模型的時候，如果想利用上述的特征，就需要在線下機器上再次計算一遍這些特征。

申請人發(fā)現(xiàn)，現(xiàn)有技術(shù)方案存在三個缺點：第一個缺點是浪費資源，由于線上計算的特征是一次性的，不能重復(fù)使用，因此，還需要利用線下的計算資源再次計算一遍特征，當(dāng)特征維度很高的時候，線下計算需要耗費很多的資源來回放線上的特征。第二個缺點是浪費時間，線上集群的計算能力比線下機器的計算能力要強的多，相對于線上資源，使用線下資源去回放線上特征會耗費更多的時間，經(jīng)常會影響模型的迭代進度。第三個缺點是計算出來的特征不準(zhǔn)確，影響模型迭代的效果。另外，特征的計算以歷史的用戶行為數(shù)據(jù)和用戶畫像數(shù)據(jù)為基礎(chǔ)，在線下再次計算特征的時候，用戶的行為數(shù)據(jù)和用戶畫像數(shù)據(jù)可能都已經(jīng)改變，因此線下計算出來的特征值也可能改變，最終會導(dǎo)致模型迭代的效果不那么盡如人意。

發(fā)明內(nèi)容

本發(fā)明要解決的一個技術(shù)問題是提供一種線上場景特征數(shù)據(jù)存儲方法、系統(tǒng)和數(shù)據(jù)抽取系統(tǒng)能夠?qū)崿F(xiàn)高質(zhì)量的線上場景特征數(shù)據(jù)存儲。

根據(jù)本發(fā)明一方面，提出一種線上場景特征數(shù)據(jù)存儲方法，包括：數(shù)據(jù)抽取系統(tǒng)獲取客戶端集群計算的線上場景特征數(shù)據(jù)；將線上場景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表中進行存儲，以便根據(jù)線上場景特征數(shù)據(jù)進行場景回放。

進一步地，數(shù)據(jù)抽取系統(tǒng)抽取服務(wù)器集群在本地磁盤存儲的客戶端集群計算的線上場景特征數(shù)據(jù)；其中，客戶端集群將線上場景特征數(shù)據(jù)異步發(fā)送至服務(wù)器集群，服務(wù)器集群將線上場景特征數(shù)據(jù)存儲在本地磁盤。

進一步地，所示數(shù)據(jù)抽取系統(tǒng)使用wget的方式將服務(wù)器集群在本地磁盤存儲的線上場景特征數(shù)據(jù)抽取到臨時倉庫。

進一步地，該方法還包括：所示數(shù)據(jù)抽取系統(tǒng)對線上場景特征數(shù)據(jù)進行壓縮和/或過濾處理。

進一步地，數(shù)據(jù)抽取系統(tǒng)根據(jù)線上場景特征數(shù)據(jù)類型的不同將線上場景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表的相應(yīng)的分區(qū)進行存儲。

根據(jù)本發(fā)明的另一方面，還提出一種數(shù)據(jù)抽取系統(tǒng)，包括：特征數(shù)據(jù)獲取單元，用于獲取客戶端集群計算的線上場景特征數(shù)據(jù)；特征數(shù)據(jù)推送單元，用于將線上場景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表中進行存儲，以便根據(jù)線上場景特征數(shù)據(jù)進行場景回放。

進一步地，特征數(shù)據(jù)獲取單元還用于抽取服務(wù)器集群在本地磁盤存儲的客戶端集群計算的線上場景特征數(shù)據(jù)；其中，客戶端集群將線上場景特征數(shù)據(jù)異步發(fā)送至服務(wù)器集群，服務(wù)器集群將線上場景特征數(shù)據(jù)存儲在本地磁盤。

進一步地，特征數(shù)據(jù)獲取單元還用于使用wget的方式將服務(wù)器集群在本地磁盤存儲的線上場景特征數(shù)據(jù)抽取到臨時倉庫。

進一步地，該數(shù)據(jù)抽取系統(tǒng)還包括：特征數(shù)據(jù)處理單元，用于對線上場景特征數(shù)據(jù)進行壓縮和/或過濾處理。

進一步地，特征數(shù)據(jù)推送單元還用于根據(jù)線上場景特征數(shù)據(jù)類型的不同將線上場景特征數(shù)據(jù)推送至hadoop集群的數(shù)據(jù)表的相應(yīng)的分區(qū)進行存儲。

根據(jù)本發(fā)明的另一方面，還提出一種線上場景特征數(shù)據(jù)存儲系統(tǒng)，包括客戶端集群、hadoop集群和上述的數(shù)據(jù)抽取系統(tǒng)。

進一步地，該系統(tǒng)還包括服務(wù)器集群。

根據(jù)本發(fā)明的另一方面，還提出一種數(shù)據(jù)抽取系統(tǒng)，包括：存儲器；以及耦接至存儲器的處理器，處理器被配置為基于存儲在存儲器的指令執(zhí)行如上述的方法。

根據(jù)本發(fā)明的另一方面，還提出一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，該指令被處理器執(zhí)行時實現(xiàn)上述的方法的步驟。