[發明專利]策略信息獲取方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111424335.2
• 申請日: 2021-11-26
• 公開（公告）號: CN114240478A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 唐波;余東亮;謝乾龍;王興星
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 楊愛平

1.一種策略信息獲取方法，其特征在于，包括：

將目標特征信息和選定的第一拉格朗日乘子輸入目標模型，獲取目標對象在目標場景下執行第一目標動作時對應的第一策略值，所述目標特征信息至少包括所述目標對象對應的與所述目標場景關聯的當前特征，所述第一策略值與第一目標策略關聯，所述目標模型基于所述第一拉格朗日乘子確定所述第一目標策略，所述第一目標策略對應的成本與第一約束值的差值滿足第一預設條件，所述第一約束值為所述目標場景對應的約束值；

在所述第一約束值變更為第二約束值的情況下，將所述目標特征信息和選定的第二拉格朗日乘子輸入所述目標模型，獲取所述目標對象在所述目標場景下執行第二目標動作時對應的第二策略值，所述第二策略值與第二目標策略關聯，所述目標模型基于所述第二拉格朗日乘子確定所述第二目標策略，所述第二目標策略對應的成本與所述第二約束值的差值滿足第二預設條件；

其中，所述目標模型為對拉格朗日乘子泛化后、通過模型訓練得到。

2.根據權利要求1所述的策略信息獲取方法，其特征在于，還包括：

在拉格朗日乘子變量對應的第一取值范圍內選定所述第一拉格朗日乘子；

所述在拉格朗日乘子變量對應的第一取值范圍內選定所述第一拉格朗日乘子，包括：

在所述第一取值范圍內選擇第一參考拉格朗日乘子；

將選擇的所述第一參考拉格朗日乘子與目標特征集合輸入所述目標模型，獲取多個第一參考策略值，并根據所述多個第一參考策略值確定所關聯的第一平均成本，所述目標特征集合至少包括所述目標對象在所述目標場景下預設歷史時段內多個歷史時刻分別對應的特征信息，每個歷史時刻對應于一個所述第一參考策略值；

在所述第一平均成本與所述第一約束值的差值不滿足所述第一預設條件的情況下，返回在所述第一取值范圍內選擇所述第一參考拉格朗日乘子并獲取對應的多個第一參考策略值、確定所關聯的第一平均成本的步驟，其中每次選擇的所述第一參考拉格朗日乘子相區別；

在選擇的所述第一參考拉格朗日乘子對應的多個第一參考策略值所關聯的第一平均成本與所述第一約束值的差值滿足所述第一預設條件時，確定當前第一參考拉格朗日乘子為所述第一拉格朗日乘子。

3.根據權利要求1所述的策略信息獲取方法，其特征在于，所述方法還包括：

獲取訓練數據集，所述訓練數據集包括所述目標場景下的多條訓練數據，所述訓練數據包括第一時刻對應的第一特征集合、訓練對象在所述目標場景下的第一時刻執行動作時對應的動作值、第二時刻對應的第二特征集合以及第一獎勵數據；

根據所述訓練數據集、采樣拉格朗日乘子以及預設數目個執行動作的動作值進行模型訓練，獲取所述目標模型；

其中，所述預設數目個執行動作的動作值為標準動作值，所述第一特征集合和所述第二特征集合至少包括所述訓練對象對應的特征，所述第二時刻為與所述第一時刻相鄰的下一采樣時刻，所述第二特征集合包括所述訓練對象在所述目標場景下的所述第一時刻執行動作后在所述第二時刻的狀態特征，所述第一獎勵數據基于所述狀態特征確定。

4.根據權利要求3所述的策略信息獲取方法，其特征在于，所述根據所述訓練數據集、采樣拉格朗日乘子以及預設數目個執行動作的動作值進行模型訓練，獲取所述目標模型，包括：

根據所述采樣拉格朗日乘子對所述訓練數據集進行數據處理，獲取參考數據集；

根據所述參考數據集以及所述預設數目個執行動作的動作值進行模型訓練，獲取所述目標模型。