[發明專利]通過深度強化學習進行營銷成本控制的方法及裝置

在審

• 申請號: 201810893028.0
• 申請日: 2018-08-07
• 公開（公告）號: CN109087142A
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 何建杉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 北京億騰知識產權代理事務所 11309
• 代理人: 陳霽;周良玉

1.一種通過深度強化學習系統進行營銷成本控制的方法，所述深度強化學習系統包括智能體和執行環境，所述智能體用于根據營銷策略，針對所述執行環境的狀態信息確定營銷行為，所述方法包括：

確定所述營銷行為的成本；

至少根據所述成本，確定強化學習的獎勵分數，以使所述獎勵分數與所述成本負相關；

將所述獎勵分數返回給所述智能體，用于所述智能體優化其營銷策略。

2.根據權利要求1所述的方法，其中，所述營銷行為包括發放資源包，所述資源包包括紅包、優惠券、賬單免息券中的至少一種；所述確定所述營銷行為的成本，包括：

確定所述資源包對應的資源份額，并將所述資源份額作為所述成本。

3.根據權利要求1所述的方法，其中，所述確定強化學習的獎勵分數，包括：

獲取針對所述成本構造的函數，至少基于所述函數確定獎勵分數，所述函數被構造為，負相關于所述成本。

4.根據權利要求1所述的方法，其中，在所述確定強化學習的獎勵分數之前，還包括：

從所述執行環境中獲取，用戶響應于所述智能體確定的營銷行為而產生的執行結果，以及營銷行為所針對的目標效果。

5.根據權利要求4所述的方法，其中，所述確定強化學習的獎勵分數，包括：

通過分數評估函數確定所述獎勵分數，所述分數評估函數以所述執行結果和所述成本為變量，并被設計為，正相關于所述執行結果與所述目標效果的匹配度，以及負相關于所述營銷行為的成本。

6.根據權利要求4所述的方法，其中，所述確定強化學習的獎勵分數，包括：

獲取基于所述執行結果構造的第一函數，所述第一函數被設計為，正相關于所述執行結果與所述目標效果的匹配度；

獲取基于所述成本構造的第二函數，所述第二函數被設計為正相關于所述成本；

至少基于所述第一函數和所述第二函數確定獎勵分數。

7.根據權利要求6所述的方法，其中，所述至少基于所述第一函數和所述第二函數確定獎勵分數，包括：

基于所述第一函數與所述第二函數的比值確定獎勵分數；或者

基于所述第一函數與所述第二函數的差值確定獎勵分數。

8.根據權利要求6所述的方法，其中，所述至少基于所述第一函數和所述第二函數確定獎勵分數，包括：

獲取預先建立的第一函數的多個取值區間和第二函數的多個取值區間所形成的多個區間組合與獎勵分數的映射關系；

根據所述執行結果確定所述第一函數的函數值所落入的第一區間，以及根據所述成本確定所述第二函數的函數值所落入的第二區間，所述第一區間和第二區間形成特定區間組合；

根據所述映射關系，確定與所述特定區間組合相對應的獎勵分數。

9.一種通過深度強化學習系統進行營銷成本控制的裝置，所述深度強化學習系統包括智能體和執行環境，所述智能體用于根據營銷策略，針對所述執行環境的狀態信息確定營銷行為，所述裝置包括：

第一確定單元，配置為確定所述營銷行為的成本；

第二確定單元，配置為至少根據所述成本，確定強化學習的獎勵分數，以使所述獎勵分數與所述成本負相關；

返回單元，配置為將所述獎勵分數返回給所述智能體，用于所述智能體優化其營銷策略。

10.根據權利要求9所述的裝置，其中，所述營銷行為包括發放資源包，所述資源包包括紅包、優惠券、賬單免息券中的至少一種；所述第一確定單元配置為：

確定所述資源包對應的資源份額，并將所述資源份額作為所述成本。

11.根據權利要求9所述的裝置，其中所述第二確定單元配置為：

獲取針對所述成本構造的函數，至少基于所述函數確定獎勵分數，所述函數被構造為，負相關于所述成本。