[發明專利]展示信息組合確定方法、裝置、存儲介質及電子設備

在審

• 申請號: 201811647015.1
• 申請日: 2018-12-29
• 公開（公告）號: CN111401594A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 李亦錟;余林韻;陳嘉閩;黃訓蓬;李磊
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/00;G06N20/00
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹;南毅寧

本公開涉及一種展示信息組合確定方法、裝置、存儲介質及電子設備。所述方法包括：獲取數據庫中的N個候選展示信息，所述N個候選展示信息為數據庫中所有展示信息的全部或部分，其中，N為大于1的正整數；將所述候選展示信息輸入至與所述候選展示信息對應的目標決策模型，獲得目標展示信息組合，所述目標展示信息組合包括M個所述候選展示信息，所述目標決策模型是利用強化學習網絡模型構建的，且所述目標決策模型用于根據輸入的展示信息確定出能夠獲得最大回報值的展示信息組合，其中，1≤MN。這樣，利用強化學習方法，可自動生成目標展示信息組合，節省人力，還可以使目標展示信息組合能夠獲得最大的回報值，使用戶利益最大化。

技術領域

本公開涉及計算機技術領域，具體地，涉及一種展示信息組合確定方法、裝置、存儲介質及電子設備。

背景技術

信息流(Feeds)是社交媒體移動應用中最重要的創新點之一，即當用戶加載顯示界面時為用戶呈現一系列信息。該一系列信息就是一系列展示信息，展示信息可以在展位進行展示，從而獲得一定的回報值。展位可以為用于對展示信息進行展示的虛擬或實際的載體。在數據庫中存在多種可供展示的展示信息，而在實際的展示中，由于每一次可用于展示的展位數量有限，這些可供展示的展示信息無法全部展示，只能從中選擇一部分進行展示，這一部分展示信息可視為展示信息組合。現有技術中，對于展示信息組合的確定需要人工收集數據后進行人為選擇，這樣，一方面需要投入大量的人力、物力、時間等，效率很低，另一方面，由于人工選擇的方式受限于個人經驗等因素，會使確定出的展示信息組合得到的回報值無法估量，易出現回報值過低的情況。

發明內容

本公開的目的是提供一種展示信息組合確定方法、裝置、存儲介質及電子設備，以自動生成展示信息組合。

為了實現上述目的，根據本公開的第一方面，提供一種展示信息組合確定方法，所述方法包括：

獲取數據庫中的N個候選展示信息，所述N個候選展示信息為數據庫中所有展示信息的全部或部分，其中，N為大于1的正整數；

將所述候選展示信息輸入至與所述候選展示信息對應的目標決策模型，獲得目標展示信息組合，所述目標展示信息組合包括M個所述候選展示信息，所述目標決策模型是利用強化學習網絡模型構建的，且所述目標決策模型用于根據輸入的展示信息確定出能夠獲得最大回報值的展示信息組合，其中，1≤MN。

可選地，所述與候選展示信息對應的目標決策模型通過以下方式獲得：

獲取歷史展示信息組合以及所述歷史展示信息組合對應的實際回報值，其中，所述歷史展示信息組合包括M個所述候選展示信息；

根據所述N個候選展示信息、所述歷史展示信息組合以及所述歷史展示信息組合對應的實際回報值，對強化學習網絡模型進行訓練，以獲得所述目標決策模型。

可選地，所述根據所述N個候選展示信息、所述歷史展示信息組合以及所述歷史展示信息組合對應的實際回報值，對強化學習網絡模型進行訓練，以獲得所述目標決策模型，包括：

初始化所述強化學習網絡模型，并根據所述N個候選展示信息和所述強化學習網絡模型生成第一展示信息組合，所述第一展示信息組合包括M個所述候選展示信息；

確定與所述第一展示信息組合相同的歷史展示信息組合，并將該歷史展示信息組合對應的實際回報值確定為所述第一展示信息組合對應的實際回報值；

將所述第一展示信息組合對應的實際回報值輸入至所述強化學習網絡模型中，以調整所述第一展示信息組合中各候選展示信息在所述強化學習網絡模型中的權重參數；