[發明專利]基于數據處理的商品推薦方法、裝置、設備和存儲介質

有效

• 申請號: 201711116048.9
• 申請日: 2017-11-13
• 公開（公告）號: CN107766573B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 吳佳東
• 申請（專利權）人: 深圳樂信軟件技術有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發明實施例公開了一種基于數據處理的商品推薦方法、裝置、設備和存儲介質。其中，方法包括：采集多條用戶商品數據對，作為實驗數據集；基于蝙蝠算法和實驗數據集進行模型訓練，獲得優化的ALS推薦模型；通過優化的ALS推薦模型向目標用戶推薦商品。本發明技術方案采用的蝙蝠算法具備優秀的參數搜索能力，能有效優化ALS推薦模型，提高其參數尋優的效率，降低參數尋優的時間復雜度，并提升了使用ALS推薦模型進行商品推薦的推薦效果。

技術領域

本發明實施例涉及大數據分析技術領域，尤其涉及一種基于數據處理的商品推薦方法、裝置、設備和存儲介質。

背景技術

商品推薦是電子商務領域的一個重要應用，其中，基于商品的協同過濾算法是目前應用最多的算法之一。這種方法通常根據現有用戶對商品的偏好或者是評級情況，來計算商品之間的某種相似度，對于用戶評級相同或相近的那些商品會被認為更加相似。一旦有了商品之間的相似度，便可以使用用戶接觸過的商品信息來表示這個用戶，然后找出和這些已知商品相似的目標商品，并將這些目標商品推薦給用戶。

Spark推薦模型庫實現了一種基于ALS(Alternating Least Square，最小二乘發法)矩陣分解的協同過濾算法，用該算法進行商品推薦的步驟如下：

步驟1、將用戶商品偏好數據轉化成以用戶為行、商品為列的二維矩陣。矩陣的每一個數據表示某個用戶對特定商品的偏好，一般單個用戶會和少數商品接觸，因此該矩陣中只有少數非零數據，很稀疏，比如以下用戶商品偏好數據：

它們可以轉化為如下表1所示的二維矩陣：

表1

步驟2、采用ALS矩陣分解的方式對上述二維矩陣建模。具體就是找出兩個低維度的矩陣，使得它們的乘積是上述二維矩陣。假設用戶數量和商品數目分別是U和I，那么對應的“用戶-商品”二維矩陣的大小為U×I，類似圖1所示。

為找到和“用戶-商品”二維矩陣相近的k維(低階)矩陣，最終要求得如下兩個矩陣：一個用于表示用戶的U×k維矩陣，以及一個用于表示物品的I×k維矩陣。這兩個矩陣也稱作因子矩陣，它們的乘積便是上述二維矩陣的一個近似。其中，兩個因子矩陣類似圖2所示，圖2中左側為用戶因子矩陣，右側為商品因子矩陣。

步驟3、預測給定用戶對某個商品的評級結果。由于是對“用戶-商品”二維矩陣直接建模，計算評級時只需從用戶因子矩陣和物品因子矩陣分別選取相應的行和列，然后計算兩者的點積即可，具體如圖3所示。

計算出的點積即代表預測的評級結果，根據評級的排序結果向用戶推薦相應的商品。

其中，ALS矩陣分解的實現原理是迭代式求解一系列最小二乘回歸的問題，在每一次迭代時，固定用戶因子矩陣或是物品因子矩陣中的一個，然后用固定的這個矩陣以及評級數據來更新另一個矩陣，之后再將被更新的矩陣固定住，更新另外一個矩陣，如此迭代，直到ALS推薦模型收斂(或者迭代到了預設好的次數)。

Spark機器學習庫提供的基于矩陣分解的ALS推薦模型表現十分出色，被廣泛應用于商品推薦生產實踐中。但是，由于ALS推薦模型存在以下缺陷，給模型的使用者設置了較高的技術門檻，缺陷如下：

1、ALS推薦模型在實際的使用過程中需要用戶手動設置或調整模型的一些關鍵參數，例如因子個數rank、迭代次數iteration和正則化過程控制參數lambda等，這使得ALS推薦模型缺乏自適應能力。

2、業界常用的機器學習庫往往只集成比較傳統的參數尋優方式，比如網格搜索，這類尋優方式主要依據經驗給定參數或窮舉搜索空間確定參數，這不但沒有提高模型的易用性反而增加了模型的時間復雜度，尤其不能使用在Spark這種處理大量數據的平臺。

發明內容