[發明專利]實時數據的獲取方法、裝置及系統

在審

• 申請號: 201110415346.4
• 申請日: 2011-12-13
• 公開（公告）號: CN103164434A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 張旭;楊志雄;陳曉軍;蘇寧軍;許玉勤
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 吳貴明;余剛

技術領域

本申請涉及計算機及互聯網技術領域，具體而言，涉及一種實時數據的獲取方法、裝置及系統。

背景技術

個性化推薦是根據用戶的興趣特點和購買行為，向用戶推薦用戶感興趣的信息和商品。隨著電子商務規模的不斷擴大，商品個數和種類快速增長，顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的信息和產品過程無疑會使淹沒在信息過載問題中的消費者不斷流失。為了解決這些問題，個性化推薦系統應運而生。個性化推薦系統是建立在海量數據挖掘基礎上的一種高級商務智能平臺，以幫助電子商務網站為其顧客購物提供完全個性化的決策支持和信息服務。

目前，推薦系統日益廣泛的應用到了電子商務的各個領域。在推薦過程中，把握用戶當前狀態，最近的訪問行為，可以有效的提高推薦的精準度。而如何獲得實時數據，如何快速利用實時數據，一直是實現實時功能的難點。現有的推薦系統一般是利用歷史數據做離線計算，數據延遲比較大，不能反應用戶當前或近期行為，推薦的準確性受損。因此，現有的推薦系統大部分不能實時計算，只能做到準實時。

對于現有的已實現部分實時功能的推薦系統，實時數據的獲取一般依賴于客戶端的設置。比如，通過cookie或flash等客戶端存儲，然后定期上報給服務器，由服務器對實時數據進行處理。這種依賴客戶端的設置的方式獲取實時數據，并不能獲取到用戶所有行為的實時數據，例如，如果用戶清除了cookie，或者用戶從另一臺機器登陸等，都將導致用戶實時行為的丟失。并且，采用這種實時數據的獲取方式，由于客戶端是定期向服務器上報，從而導致服務器獲取的數據的實時性較差。

針對現有技術中的實時數據獲取不完整及實時性較差的問題，目前尚未提出有效的解決方案。

發明內容

本申請的主要目的在于提供一種實時數據的獲取方法、裝置及系統，以解決現有技術中的實時數據的獲取不完整以及實時性較差的問題。

為了實現上述目的，根據本申請的一個方面，提供了一種實時數據的獲取方法。

根據本申請的實時數據的獲取方法包括：在向日志服務器中寫入日志時，向實時數據系統輸入當前待寫入的日志；所述實時數據系統實時獲取當前輸入的所述待寫入的日志；所述實時數據系統實時解析所述待寫入的日志，獲取所述日志中記錄的實時數據。

優選地，在向日志服務器寫入日志之前，所述方法還包括：客戶端的日志程序實時獲取用戶行為數據，將所述用戶行為數據作為上述待寫入的日志傳送到所述日志服務器。

優選地，在獲取所述日志中記錄的實時數據之后，所述方法還包括：對所述日志中記錄的數據進行實時處理，得到所需的實時數據。

優選地，對所述日志中記錄的實時數據進行實時處理，包括：將所述日志中記錄的數據分發給多個處理器中的一個處理器，所述處理器對所述日志中記錄的實時數據進行實時處理，然后保存處理得到的所述實時數據。

優選地，將所述日志中記錄的實時數據分發給多個處理器中的一個處理器，包括：以所述日志中記錄的一個屬性值為關鍵字，進行哈希計算；根據預先設置的對應關系，將所述日志中記錄的實時數據分發給與哈希計算得到的結果對應的處理器。

優選地，所述處理器對所述日志中記錄的實時數據進行實時處理，包括：所述處理器查詢保存的歷史數據，獲取與所述日志中記錄的實時數據相關聯的歷史數據；所述處理器根據獲取的所述歷史數據，對所述日志中記錄的實時數據進行處理。

優選地，所述處理器查詢保存的歷史數據，包括：所述處理器向保存所述歷史數據的存儲模塊發送查詢請求，其中，所述查詢請求中攜帶請求查詢內容的關鍵字；根據所述關鍵字，進行哈希計算，根據哈希計算結果，將所述查詢請求分發給與所述哈希計算結果對應的查詢單元；所述查詢單元查詢保存的所述歷史數據，將查詢到的所述歷史數據返回給所述處理器。

優選地，對所述日志中記錄的實時數據進行實時處理，包括：加載外掛的快速時間衰減模型和邏輯規則對所述日志中記錄的實時數據進行實時處理。

根據本申請的另一個方面，提供了一種實時數據的獲取裝置。

根據本申請的實時數據的獲取裝置包括：輸入模塊，用于接收在向日志服務器中寫入日志時輸入實時數據系統的當前待寫入的日志；獲取模塊，用于實時獲取當前輸入的所述待寫入的日志；解析模塊，用于實時解析所述待寫入的日志，獲取所述日志中記錄的實時數據。

優選地，所述裝置還包括：處理模塊，用于對所述日志中記錄的實時數據進行實時處理，得到所需的實時數據。