[發明專利]數據推送方法、裝置及存儲介質

在審

• 申請號: 202010119662.6
• 申請日: 2020-02-26
• 公開（公告）號: CN111401937A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 陳嫻嫻;阮曉雯;徐亮
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F16/9535;G06N3/04
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;王迎

本發明涉及智能決策領域，提出一種數據推送方法，該方法包括：根據網頁瀏覽信息提取與數據推送相關的個人特征，記錄并存儲個人行為策略；結合所述個人特征及個人行為策略定義獎勵函數；基于所述獎勵函數將物品推薦的現實過程抽象為馬爾科夫過程；利用所述馬爾科夫過程的馬爾科夫性簡化貝爾曼方程形成可迭代方程式，并求得所述可迭代方程式的最優解，獲得數據推送模型；以百萬級數據作為數據特征輸入數據推送模型進行網絡訓練形成最優數據推送模型，將數據推送目標用戶的個人特征輸入最優數據推送模型，所述最優數據推送模型自動化地向目標用戶輸出推薦信息。

技術領域

本發明涉及智能決策領域，尤其涉及一種數據推送方法、裝置及計算機可讀存儲介質。

背景技術

經典的推薦系統僅依賴于事先存儲下來的大數據，卻忽略了推薦對象及推薦環境在現實意義中是不斷變化的，同時也忽略了系統與推薦對象在交互過程中產生的新的信息，這些被忽略的交互信息及其可能存在的瞬間變化性恰恰是最重要的，因此傳統的推薦系統在一定程度上規則固化，客觀來說是沒有考慮環境及交互因素在內的。因此這一類傳統方法在交互層面存在明顯的滯后性，無法緊跟推薦對象的最新需求。因此充分考慮系統交互信息的推薦系統框架的搭建成為了熱點問題。

推薦系統最怕的是嚴重的滯后，對用戶信息獲取、分析的時間滯后，導致延遲了用戶的需求分析，推薦給了用戶已經不喜歡、已經不需要、或者錯誤的東西，傳統的數據推送主要基于基礎的機器學習框架，基于關聯規則，如把已購商品作為規則頭，規則體為推薦對象，最經典的例子是很多人購買牛奶的同時會購買面包來搭配，推薦繁雜、不準確。

因此，亟需一種提升精確率的數據推送方法。

發明內容

本發明提供一種數據推送方法、電子裝置及計算機可讀存儲介質，其主要目的在于通過根據網頁瀏覽信息提取與數據推送相關的個人特征，記錄并存儲個人行為策略，結合個人特征及個人行為策略定義獎勵函數，然后基于獎勵函數將物品推薦的現實過程抽象為馬爾科夫過程，進而利用馬爾科夫過程的馬爾科夫性簡化貝爾曼方程，將推送過程轉化為可迭代方程式，并求得可迭代方程式的最優解，結合最優解搭建神經網絡，持續訓練所述神經網絡直至神經網絡收斂，獲得數據推送模型，再以百萬級數據作為數據特征輸入數據推送模型進行網絡訓練，并給予給定的Loss function進行誤差的回傳，形成最優數據推送模型，最后將數據推送目標用戶的個人特征輸入最優數據推送模型，最優數據推送模型自動化地輸出數據推送。

為實現上述目的，本發明提供的數據推送方法，應用于電子裝置，所述方法包括：

S110：根據網頁瀏覽信息提取與數據推送相關的個人特征及個人行為信息；

S120：結合所述個人特征及個人行為信息定義獎勵函數；

S130：基于所述獎勵函數將物品推薦的現實過程抽象為馬爾科夫過程；

S140：利用所述馬爾科夫過程的馬爾科夫性簡化貝爾曼方程形成可迭代方程式，并求得所述可迭代方程式的最優解，結合所述最優解搭建神經網絡，持續訓練所述神經網絡直至所述神經網絡收斂，獲得數據推送模型；

S150：將訓練數據特征輸入數據推送模型進行網絡訓練，并給予給定的Lossfunction進行誤差的回傳，形成最優數據推送模型；

S160：將數據推送目標用戶的個人特征輸入所述最優數據推送模型，所述最優數據推送模型自動化地向所述目標用戶輸出推薦信息。

優選地，所述獎勵函數為：

若在一個PV中僅發生商品點擊，則相應的獎勵值為用戶點擊商品的次數；若在一個PV中發生了用戶對商品的購買，那么對應的獎勵為用戶點擊商品的次數加被購買的商品的價格；其他的情況下獎勵為0。

優選地，所述馬爾科夫過程由四元組S,A,R,T表示：