[發明專利]數據推送方法、裝置及存儲介質

在審

• 申請號: 202010119662.6
• 申請日: 2020-02-26
• 公開（公告）號: CN111401937A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 陳嫻嫻;阮曉雯;徐亮
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F16/9535;G06N3/04
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;王迎

1.一種數據推送方法，應用于電子裝置，其特征在于，所述方法包括：

S110：根據網頁瀏覽信息提取與數據推送相關的個人特征及個人行為信息；

S120：結合所述個人特征及個人行為信息定義獎勵函數；

S130：基于所述獎勵函數將物品推薦的現實過程抽象為馬爾科夫過程；

S140：利用所述馬爾科夫過程的馬爾科夫性簡化貝爾曼方程形成可迭代方程式，并求得所述可迭代方程式的最優解，結合所述最優解搭建神經網絡，持續訓練所述神經網絡直至所述神經網絡收斂，獲得數據推送模型；

S150：將訓練數據特征輸入數據推送模型進行網絡訓練，并給予給定的Loss function進行誤差的回傳，形成最優數據推送模型；

S160：將數據推送目標用戶的個人特征輸入所述最優數據推送模型，所述最優數據推送模型向所述目標用戶輸出推薦信息。

2.根據權利要求1所述的數據推送方法，其特征在于，所述獎勵函數為：

若在一個PV中僅發生商品點擊，則相應的獎勵值為用戶點擊商品的次數；若在一個PV中發生了用戶對商品的購買，那么對應的獎勵為用戶點擊商品的次數加被購買的商品的價格；其他的情況下獎勵為0。

3.根據權利要求1所述的數據推送方法，其特征在于，

所述馬爾科夫過程由四元組S,A,R,T表示：

其中，S為所述物品推薦現實過程中頁面上待推送數據的狀態；

A為所述物品推薦頁面產生的所有動作；

R:S×A×S→R，為獎勵函數，當用戶執行動作A動作，由狀態S轉移到狀態S′時，則S′狀態獲得獎勵值，當用戶從點擊a物品轉移到點擊b物品時，b物品獲得獎勵值；

T:S×A×S→[0,1]，為環境的狀態轉移函數，T(s,a,s′)表示在狀態s上執行動作a，并轉移到狀態S′的概率。

4.根據權利要求1所述的數據推送方法，其特征在于，求得所述可迭代方程式的最優解為在一個batch中，通過智能體推薦得到的最大累積獎勵；

求得可迭代方程最優解的方式為抽樣求解，其過程為：首先在一個batch小數據集中進行計算，然后循環取batch、循環計算，直至達到閾值上限，或者結果收斂。

5.根據權利要求1所述的數據推送方法，其特征在于，結合所述最優解搭建神經網絡的過程包括：

引入一個動作價值函數的近似表示：

所述近似表示在數學上成立后，結合所述最優解搭建兩個結構相同、參數不同的神經網絡架構N1、N2；其中，

利用N1進行evaluation value的估計，利用N2進行target value的計算，進而對反向傳遞進行網絡迭代更新，并在k輪迭代后定期將N1的網絡參數移植到N2中；

所述N1、N2均為具有神經元的全連接網絡，所述神經元個數通過不同的場景發生改變。

6.根據權利要求1所述的數據推送方法，其特征在于，在持續訓練所述神經網絡直至所述神經網絡收斂，獲得數據推送模型的過程中，包括：

在神經網絡中利用Stochastic Gradient Descent進行網絡迭代，應用ExperienceReplay的方法，在指定t個需要存儲的memory前，對所有涉及的當前S，對應采取的A，得到的延遲R以及對應的下一個S′進行存儲。

7.根據權利要求5所述的數據推送方法，其特征在于，在所述最優數據推送模型自動化地輸出數據推送的過程中，所推送出的物品為所述最優推送模型中的神經網絡經機器學習及反復訓練得出的使目標用戶購買幾率最大的物品。