[發明專利]通過深度強化學習進行營銷成本控制的方法及裝置

在審

• 申請號: 201810893028.0
• 申請日: 2018-08-07
• 公開（公告）號: CN109087142A
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 何建杉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 北京億騰知識產權代理事務所 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種通過深度強化學習系統進行營銷成本控制的方法，其中深度強化學習系統包括智能體和執行環境，智能體用于根據營銷策略，針對執行環境的狀態信息確定營銷行為。上述方法包括：確定營銷行為的成本；接著，至少根據確定出的成本，確定強化學習的獎勵分數，以使獎勵分數與成本負相關；然后，將獎勵分數返回給智能體，用于智能體優化其營銷策略。

技術領域

本說明書一個或多個實施例涉及機器學習領域，尤其涉及通過深度強化學習進行營銷成本控制的方法及裝置。

背景技術

在一項業務場景的業務流程中，不僅要考慮到業務的業務效果，還需要考慮執行該業務所耗費的成本。在推薦營銷，特別是金融營銷的場景中，為了促使用戶使用金融產品，通常會在營銷信息中向用戶提供一定的激勵，如優惠券等。例如，可以向用戶推送申購某基金的手續費折扣券，以促使用戶申購該基金。顯然，激勵的力度越大，如折扣越高，則用戶使用對應金融產品的可能性越大。但是，激勵的力度過大，營銷成本越高，甚至會導致超預算。

因此，需要一種合理的方案，可以在保證營銷效果的同時，盡可能地壓低成本。

發明內容

本說明書一個或多個實施例描述了一種利用深度強化學習進行營銷成本控制的方法和裝置，可以在保證營銷效果的同時，最大限度地壓低營銷成本。

根據第一方面，提供了一種通過深度強化學習系統進行營銷成本控制的方法，所述深度強化學習系統包括智能體和執行環境，所述智能體用于根據營銷策略，針對所述執行環境的狀態信息確定營銷行為，所述方法包括：

確定所述營銷行為的成本；

至少根據所述成本，確定強化學習的獎勵分數，以使所述獎勵分數與所述成本負相關；

將所述獎勵分數返回給所述智能體，用于所述智能體優化其營銷策略。

根據一個實施例，上述營銷行為包括發放資源包，所述資源包包括紅包、優惠券、賬單免息券中的至少一種；所述確定所述營銷行為的成本，包括：確定所述資源包對應的資源份額，并將所述資源份額作為所述成本。

根據一個實施例，所述確定強化學習的獎勵分數，包括：獲取針對所述成本構造的函數，至少基于所述函數確定獎勵分數，所述函數被構造為，負相關于所述成本。

根據一個實施例，在所述確定強化學習的獎勵分數之前，還包括：從所述執行環境中獲取，用戶響應于所述智能體確定的營銷行為而產生的執行結果，以及營銷行為所針對的目標效果。

在一個實施例中，通過分數評估函數確定所述獎勵分數，所述分數評估函數以所述執行結果和所述成本為變量，并被設計為，正相關于所述執行結果與所述目標效果的匹配度，以及負相關于所述營銷行為的成本。

在另一實施例中，獲取基于所述執行結果構造的第一函數，所述第一函數被設計為，正相關于所述執行結果與所述目標效果的匹配度；獲取基于所述成本構造的第二函數，所述第二函數被設計為正相關于所述成本；至少基于所述第一函數和所述第二函數確定獎勵分數。

進一步地，在一個可能的實施例中，基于所述第一函數與所述第二函數的比值確定獎勵分數；或者，基于所述第一函數與所述第二函數的差值確定獎勵分數。

在另一個可能的實施例中，獲取預先建立的第一函數的多個取值區間和第二函數的多個取值區間所形成的多個區間組合與獎勵分數的映射關系；根據所述執行結果確定所述第一函數的函數值所落入的第一區間，以及根據所述成本確定所述第二函數的函數值所落入的第二區間，所述第一區間和第二區間形成特定區間組合；根據所述映射關系，確定與所述特定區間組合相對應的獎勵分數。

根據第二方面，提供一種通過深度強化學習系統進行營銷成本控制的裝置，所述深度強化學習系統包括智能體和執行環境，所述智能體用于根據營銷策略，針對所述執行環境的狀態信息確定營銷行為，所述裝置包括：