[發(fā)明專利]一種推薦模型訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 202210055661.9
• 申請日: 2022-01-18
• 公開（公告）號: CN114428880A
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 賀甜甜;胡元元
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/738;G06F16/783
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;高鶯然

1.一種推薦模型訓(xùn)練方法，包括：

獲取多目標(biāo)融合推薦模型，所述多目標(biāo)融合推薦模型包含多個待調(diào)整的模型參數(shù)；

將當(dāng)前的模型參數(shù)確定為驗(yàn)證參數(shù)，在所述驗(yàn)證參數(shù)的基礎(chǔ)上，疊加多組不同的參數(shù)擾動，得到多組探索參數(shù)；

獲取每組探索參數(shù)對應(yīng)的用戶反饋數(shù)據(jù)和推薦視頻場景數(shù)據(jù)，并獲取所述驗(yàn)證參數(shù)對應(yīng)的用戶反饋數(shù)據(jù)和推薦視頻場景數(shù)據(jù)；

針對每組探索參數(shù)，根據(jù)該組探索參數(shù)對應(yīng)的用戶反饋數(shù)據(jù)和所述驗(yàn)證參數(shù)對應(yīng)的用戶反饋數(shù)據(jù)計(jì)算用戶反饋獎勵值，并根據(jù)該組探索參數(shù)對應(yīng)的推薦視頻場景數(shù)據(jù)和所述驗(yàn)證參數(shù)對應(yīng)的推薦視頻場景數(shù)據(jù)計(jì)算視頻推薦場景獎勵值；

針對每組探索參數(shù)，基于該組探索參數(shù)對應(yīng)的用戶反饋獎勵值和視頻推薦場景獎勵值計(jì)算總獎勵值；

根據(jù)所述總獎勵值確定優(yōu)選探索參數(shù)，并根據(jù)所述優(yōu)選探索參數(shù)對應(yīng)的參數(shù)擾動調(diào)整所述模型參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)該組探索參數(shù)對應(yīng)的用戶反饋數(shù)據(jù)和所述驗(yàn)證參數(shù)對應(yīng)的用戶反饋數(shù)據(jù)計(jì)算用戶反饋獎勵值的步驟，包括：

獲取該組探索參數(shù)對應(yīng)的探索組用戶針對預(yù)設(shè)多種類型視頻入口下的推薦視頻的第一用戶反饋數(shù)據(jù)；

獲取所述驗(yàn)證參數(shù)對應(yīng)的驗(yàn)證組用戶針對預(yù)設(shè)多種類型視頻入口下的推薦視頻的第二用戶反饋數(shù)據(jù)；

確定每種類型視頻入口下所述第一用戶反饋數(shù)據(jù)和所述第二用戶反饋數(shù)據(jù)的反饋數(shù)據(jù)差值，并基于所述反饋數(shù)據(jù)差值計(jì)算該類型視頻入口下的用戶反饋獎勵值；

疊加不同類型視頻入口下的用戶反饋獎勵值，得到該組探索參數(shù)對應(yīng)的用戶反饋獎勵值。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述用戶反饋數(shù)據(jù)包括：

用戶針對推薦視頻的瀏覽時長、瀏覽數(shù)目和/或互動數(shù)目。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)該組探索參數(shù)對應(yīng)的推薦視頻場景數(shù)據(jù)和所述驗(yàn)證參數(shù)對應(yīng)的推薦視頻場景數(shù)據(jù)計(jì)算視頻推薦場景獎勵值的步驟，包括：

獲取該組探索參數(shù)對應(yīng)的探索組用戶的預(yù)設(shè)多種類型視頻入口下的第一推薦視頻場景數(shù)據(jù)；

獲取所述驗(yàn)證參數(shù)對應(yīng)的驗(yàn)證組用戶的預(yù)設(shè)多種類型視頻入口下的第二推薦視頻場景數(shù)據(jù)；

確定每種類型視頻入口下所述第一推薦視頻場景數(shù)據(jù)和所述第二推薦視頻場景數(shù)據(jù)的視頻場景數(shù)據(jù)差值，并基于所述視頻場景數(shù)據(jù)差值計(jì)算該類型視頻入口下的視頻推薦場景獎勵值；

疊加不同類型視頻入口下的視頻推薦場景獎勵值，得到該組探索參數(shù)對應(yīng)的視頻推薦場景獎勵值。

5.根據(jù)權(quán)利要求1或4所述的方法，其中，所述推薦視頻場景數(shù)據(jù)包括：

推薦視頻的視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例。

6.根據(jù)權(quán)利要求5所述的方法，還包括：分別設(shè)定視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例的目標(biāo)期望范圍，并分別設(shè)定視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例的獎勵權(quán)重；

在獲取該組探索參數(shù)對應(yīng)的探索組用戶的預(yù)設(shè)多種類型視頻入口下的第一推薦視頻場景數(shù)據(jù)之后，還包括：

針對每種類型視頻入口下的第一推薦視頻場景數(shù)據(jù)，根據(jù)視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例與預(yù)先設(shè)定的目標(biāo)期望范圍的偏差關(guān)系，分別確定視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例的獎勵權(quán)重；

其中，若視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例在預(yù)先設(shè)定的目標(biāo)期望范圍之內(nèi)，確定視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例的獎勵權(quán)重為正值；

若視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例不在預(yù)先設(shè)定的目標(biāo)期望范圍之內(nèi)，分別確定視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例與預(yù)設(shè)設(shè)定的目標(biāo)期望范圍的偏差值；

確定視頻類型比例、視頻物理時長、視頻垂類比例和/或作者生態(tài)比例的獎勵權(quán)重為負(fù)值，且獎勵權(quán)重的絕對值與所述偏差值正相關(guān)。