[發明專利]一種信息推送方法及裝置

在審

• 申請號: 201910512050.0
• 申請日: 2019-06-13
• 公開（公告）號: CN111738787A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 周東;雷章明;湯楨偉;蘭華勇;古川
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 梁少微;王麗琴

1.一種信息推送方法，其特征在于，該方法包括：

獲取用戶信息、商品信息、用戶歷史行為商品序列信息；

根據所獲取的信息，采用強化學習的方法訓練用戶-商品興趣模型；采用深度學習的方法訓練用戶-商品復購周期模型；

當前用戶進行在線訪問時，查找當前用戶的用戶信息、商品信息、用戶歷史行為商品序列信息，根據用戶-商品興趣模型和用戶-商品復購周期模型得到當前用戶對商品列表中各商品的復購周期；

根據當前用戶的歷史購買記錄時間，與商品列表中各商品的復購周期進行比較，對商品列表中的非復購商品進行過濾后，得到當前用戶的推薦商品列表。

2.如權利要求1所述的方法，其特征在于，采用強化學習的方法訓練用戶-商品興趣模型具體包括：

構建eval神經網絡和target神經網絡兩個相同的神經網絡，其中eval神經網絡用于獲取推薦商品列表以及推薦結果好壞程度的預測值，target神經網絡用于完成對eval神經網絡參數的更新；

初始化eval神經網絡參數θ^Q和θ^μ；初始化target神經網絡參數θ^Q′＝θ^Q，θ^μ′＝θ^μ；

將每一用戶的用戶信息、商品信息、用戶歷史行為商品序列信息，作為一條訓練數據s_i；將(s_i,a_i,r_i,s_i+1)作為強化學習訓練集N個樣本中的第i個樣本；其中，a_i為第i個樣本的推薦商品列表，r_i為第i個樣本的用戶反饋，s_i+1為第i個樣本下一狀態的用戶信息、商品信息、用戶歷史行為商品序列信息；

根據第i個樣本的推薦結果好壞程度的目標值和推薦結果好壞程度的預測值，構造第一損失函數；在eval神經網絡中，將第一損失函數取小值進行優化，更新eval神經網絡參數θ^Q；

在eval神經網絡中，將用戶反饋的期望函數取小值進行優化，更新eval神經網絡參數θ^μ；

根據θ^Q和θ^μ更新target神經網絡的參數為θ^Q′和θ^μ′，得到訓練后的用戶-商品興趣模型。

3.如權利要求1所述的方法，其特征在于，采用深度學習的方法訓練用戶-商品復購周期模型具體包括：

將每一用戶的用戶信息和用戶所買商品信息作為深度學習訓練集M個樣本中的第i個樣本，i∈M，M為自然數；

將第i個樣本的用戶信息和用戶所買商品信息輸入用戶-商品復購周期模型，得到商品復購周期訓練值；

根據第i個樣本的商品復購周期訓練值和復購周期真實值，構造第二損失函數，對第二損失函數取最小值進行優化，更新網絡權值參數，得到訓練后的用戶-商品復購周期模型。

4.如權利要求1所述的方法，其特征在于，所述當前用戶進行在線訪問時，查找當前用戶的用戶信息、商品信息、用戶歷史行為商品序列信息，根據用戶-商品興趣模型和用戶-商品復購周期模型得到當前用戶對商品列表中各商品的復購周期，具體包括：

當前用戶進行訪問時，根據當前用戶標識獲取用戶信息、商品信息、用戶歷史行為商品序列信息；

將所述用戶信息、商品信息、用戶歷史行為商品序列信息輸入到用戶-商品興趣模型，得到當前用戶的商品列表；

將當前用戶信息和商品列表中的商品信息分別輸入到用戶-商品復購周期模型，得到當前用戶對商品列表中各商品的復購周期。