[發明專利]展示信息組合確定方法、裝置、存儲介質及電子設備

在審

• 申請號: 201811647015.1
• 申請日: 2018-12-29
• 公開（公告）號: CN111401594A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 李亦錟;余林韻;陳嘉閩;黃訓蓬;李磊
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/00;G06N20/00
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹;南毅寧

1.一種展示信息組合確定方法，其特征在于，所述方法包括：

獲取數據庫中的N個候選展示信息，所述N個候選展示信息為數據庫中所有展示信息的全部或部分，其中，N為大于1的正整數；

將所述候選展示信息輸入至與所述候選展示信息對應的目標決策模型，獲得目標展示信息組合，所述目標展示信息組合包括M個所述候選展示信息，所述目標決策模型是利用強化學習網絡模型構建的，且所述目標決策模型用于根據輸入的展示信息確定出能夠獲得最大回報值的展示信息組合，其中，1≤MN。

2.根據權利要求1所述的方法，其特征在于，所述與候選展示信息對應的目標決策模型通過以下方式獲得：

獲取歷史展示信息組合以及所述歷史展示信息組合對應的實際回報值，其中，所述歷史展示信息組合包括M個所述候選展示信息；

根據所述N個候選展示信息、所述歷史展示信息組合以及所述歷史展示信息組合對應的實際回報值，對強化學習網絡模型進行訓練，以獲得所述目標決策模型。

3.根據權利要求2所述的方法，其特征在于，所述根據所述N個候選展示信息、所述歷史展示信息組合以及所述歷史展示信息組合對應的實際回報值，對強化學習網絡模型進行訓練，以獲得所述目標決策模型，包括：

初始化所述強化學習網絡模型，并根據所述N個候選展示信息和所述強化學習網絡模型生成第一展示信息組合，所述第一展示信息組合包括M個所述候選展示信息；

確定與所述第一展示信息組合相同的歷史展示信息組合，并將該歷史展示信息組合對應的實際回報值確定為所述第一展示信息組合對應的實際回報值；

將所述第一展示信息組合對應的實際回報值輸入至所述強化學習網絡模型中，以調整所述第一展示信息組合中各候選展示信息在所述強化學習網絡模型中的權重參數；

重復執行所述根據所述N個候選展示信息和所述強化學習網絡模型生成第一展示信息組合，以及所述確定與所述第一展示信息組合相同的歷史展示信息組合，并將該歷史展示信息組合對應的實際回報值確定為所述第一展示信息組合對應的實際回報值，以及所述將所述第一展示信息組合對應的實際回報值輸入至所述強化學習網絡模型中，以調整所述第一展示信息組合中候選展示信息在所述強化學習網絡模型中的權重參數的步驟，直至所述重復執行的次數達到預設次數；

將當前的所述強化學習網絡模型確定為所述目標決策模型。

4.根據權利要求1所述的方法，其特征在于，所述獲取數據庫中的N個候選展示信息，包括：

獲取所述數據庫中的第一展示信息，所述第一展示信息為已被單獨展示過的展示信息；

獲取所述第一展示信息被單獨展示時對應的實際回報值；

至少將單獨展示時對應的實際回報值大于或者等于預設回報值閾值的第一展示信息確定為所述候選展示信息。

5.根據權利要求4所述的方法，其特征在于，所述至少將單獨展示時對應的實際回報值大于或者等于預設回報值閾值的第一展示信息確定為所述候選展示信息，包括：

將單獨展示時對應的實際回報值大于或者等于預設回報值閾值的第一展示信息確定為所述候選展示信息，以及，將所述數據庫中除所述第一展示信息之外的其他展示信息確定為所述候選展示信息。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

記錄所述目標展示信息組合對應的實際回報值；

將所述實際回報值輸入至所述目標決策模型，以更新所述目標決策模型中與所述目標展示信息組合中各候選展示信息對應的權重參數。

7.根據權利要求3或6所述的方法，其特征在于，候選展示信息在目標決策模型中的權重參數與目標決策模型生成展示信息組合時選擇該候選展示信息的幾率相關，并且，展示信息組合對應的實際回報值越高，則在更新所述目標決策模型時，該展示信息組合中的候選展示信息在所述目標決策模型中的權重參數的增大程度越高。