[發明專利]一種模型訓練、社交互動策略優化方法

有效

• 申請號: 202111586916.6
• 申請日: 2021-12-23
• 公開（公告）號: CN114005014B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 李津;蔣婉棋
• 申請（專利權）人: 杭州華鯉智能科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06Q30/02
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

1.一種模型訓練方法，包括：

監測社交場景的環境狀態，得到第一環境狀態信息；其中，環境狀態包括：社交場景下注冊的運營方賬號的當前運營目標，以及社交場景下注冊的用戶賬號與運營方賬號之間的歷史社交互動相關特征；

將第一環境狀態信息輸入待訓練的策略選擇模型，輸出從互動發起策略集合中選擇的互動發起策略；

基于輸出的互動發起策略向用戶賬號發起社交互動，以影響環境狀態；其中，環境狀態發生更新包括：運營方賬號的當前運營目標發生更新，和/或，用戶賬號與運營方賬號之間的歷史社交互動相關特征發生更新；

再次監測社交場景的環境狀態，得到第二環境狀態信息；

基于第一環境狀態信息與第二環境狀態信息所表征的環境狀態變化，以及預設的獎勵規則，確定獎勵值；其中，環境狀態變化越有利于達成所述當前運營目標，所述獎勵值越高；

將第一環境狀態信息與第二環境狀態信息輸入待訓練的狀態評價模型，輸出相應的評分；

對第一環境狀態信息的評分與第二環境狀態信息的評分進行對比，根據對比結果與獎勵值確定訓練誤差，根據訓練誤差更新策略選擇模型與狀態評價模型，完成一次訓練迭代。

2.如權利要求1所述方法，運營方賬號的當前運營目標包括以下至少一種：

提升用戶對品牌的認可度；吸引用戶關注新上架的產品；吸引用戶領取優惠券。

3.如權利要求1所述方法，用戶賬號與運營方賬號之間的歷史社交互動相關特征包括以下至少一種：

歷史上用戶賬號與運營方賬號進行社交互動的頻率；

歷史上用戶賬號向運營方賬號發起交易訂單的數量；

歷史上用戶賬號向運營方賬號發起交易訂單的金額；

用戶賬號最近一次與運營方賬號進行過的社交互動所對應的時間；

用戶賬號最近一次向運營方賬號發起過的交易訂單所對應的時間。

4.如權利要求1所述方法，所述環境狀態還包括：

用戶賬號對應的一項或多項用戶畫像特征。

5.如權利要求4所述方法，用戶畫像特征包括：

社交場景下為用戶標記的類型標簽，或者，社交場景下用戶對應的影響力指數。

6.如權利要求1所述方法，基于輸出的互動發起策略向用戶賬號發起社交互動，包括：

若輸出的互動發起策略屬于需要發起社交互動的策略類型，則基于輸出的互動發起策略向用戶賬號發起社交互動。

7.如權利要求6所述方法，還包括：

若輸出的互動發起策略屬于不需要發起社交互動的策略類型，則結束本次訓練迭代。

8.如權利要求1所述方法，基于輸出的互動發起策略向用戶賬號發起社交互動，包括：

將輸出的互動發起策略發送給聊天機器人，以使得聊天機器人從語料庫中選擇匹配于該互動發起策略的互動發起語句并返回；

將該互動發起語句發送給用戶賬號。

9.如權利要求1所述方法，再次監測社交場景的環境狀態，包括：

在經過指定時長之后，再次監測社交場景的環境狀態。

10.如權利要求1所述方法，還包括：

在開始訓練迭代之前，獲取若干數據樣本；其中，每個數據樣本用于表征一個環境狀態與針對該環境狀態給出的標準的互動發起策略；

基于模仿學習方式，使用所述若干數據樣本對策略選擇模型進行預訓練。

11.如權利要求1所述方法，還包括：

在進行既更新策略選擇模型又更新狀態評價模型的訓練迭代之前，進行若干次僅更新狀態評價模型的訓練迭代。