[發(fā)明專利]模型訓(xùn)練方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110281160.8
• 申請(qǐng)日: 2021-03-16
• 公開（公告）號(hào): CN113011490A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 李健;殷碩;葉超;宋斌斌;何洋;丁斌;嵇智;鄧濤;張文;國智
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/68;G06N20/00;G06Q30/02
• 代理公司: 北京銀龍知識(shí)產(chǎn)權(quán)代理有限公司 11243
• 代理人: 黃燦;劉念

本申請(qǐng)公開了模型訓(xùn)練方法、裝置及電子設(shè)備，涉及機(jī)器學(xué)習(xí)等人工智能技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：獲取多個(gè)待訓(xùn)練模型，所述多個(gè)待訓(xùn)練模型包括結(jié)構(gòu)不同的第一待訓(xùn)練模型和第二待訓(xùn)練模型；獲取所述第二待訓(xùn)練模型輸出的第一目標(biāo)預(yù)估信息，所述第一目標(biāo)預(yù)估信息為所述第二待訓(xùn)練模型輸出的與所述第一待訓(xùn)練模型輸入的特征信息相關(guān)的預(yù)估信息；將所述第一目標(biāo)預(yù)估信息作為所述第一待訓(xùn)練模型對(duì)應(yīng)的第一標(biāo)簽信息，對(duì)所述第一待訓(xùn)練模型進(jìn)行訓(xùn)練，以更新所述第一待訓(xùn)練模型的參數(shù)。根據(jù)本申請(qǐng)的技術(shù)，解決了對(duì)于系統(tǒng)鏈上多個(gè)場景加載的相同任務(wù)但是結(jié)構(gòu)各異的預(yù)估模型的預(yù)估結(jié)果一致性比較低的問題，提高了多個(gè)預(yù)估模型的預(yù)估結(jié)果的一致性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，尤其涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種模型訓(xùn)練方法、裝置及電子設(shè)備。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，模型得到了高速發(fā)展，各個(gè)系統(tǒng)通常都會(huì)嵌入模型，以進(jìn)行任務(wù)預(yù)估。對(duì)于系統(tǒng)鏈上的不同場景，受制于性能約束，對(duì)于相同的預(yù)估任務(wù)而言，通常加載的模型往往也不盡相同。

以搜索廣告系統(tǒng)為例，從上游廣告觸發(fā)、排序、計(jì)費(fèi)各個(gè)環(huán)節(jié)到最終的展現(xiàn)，本質(zhì)上是一個(gè)包含多級(jí)漏斗的復(fù)雜系統(tǒng)，而受制于性能與優(yōu)化方式的約束，在系統(tǒng)的各級(jí)漏斗都會(huì)有排序和截?cái)鄦栴}，因此，往往會(huì)在系統(tǒng)的不同環(huán)節(jié)，有著對(duì)于相同任務(wù)但是結(jié)構(gòu)各異的預(yù)估模型，這些模型的預(yù)估因子會(huì)作為重要排序依據(jù)。

目前，對(duì)于系統(tǒng)鏈上多個(gè)場景加載的相同任務(wù)但是結(jié)構(gòu)各異的預(yù)估模型通常都是獨(dú)立訓(xùn)練，以分別得到各個(gè)模型的預(yù)估因子。

發(fā)明內(nèi)容

本公開提供了一種模型訓(xùn)練方法、裝置及電子設(shè)備。

根據(jù)本公開的第一方面，提供了一種模型訓(xùn)練方法，包括：

獲取多個(gè)待訓(xùn)練模型，所述多個(gè)待訓(xùn)練模型包括結(jié)構(gòu)不同的第一待訓(xùn)練模型和第二待訓(xùn)練模型；

獲取所述第二待訓(xùn)練模型輸出的第一目標(biāo)預(yù)估信息，所述第一目標(biāo)預(yù)估信息為所述第二待訓(xùn)練模型輸出的與所述第一待訓(xùn)練模型輸入的特征信息相關(guān)的預(yù)估信息；

將所述第一目標(biāo)預(yù)估信息作為所述第一待訓(xùn)練模型對(duì)應(yīng)的第一標(biāo)簽信息，對(duì)所述第一待訓(xùn)練模型進(jìn)行訓(xùn)練，以更新所述第一待訓(xùn)練模型的參數(shù)。

根據(jù)本公開的第二方面，提供了一種模型訓(xùn)練裝置，包括：

第一獲取模塊，用于獲取多個(gè)待訓(xùn)練模型，所述多個(gè)待訓(xùn)練模型包括結(jié)構(gòu)不同的第一待訓(xùn)練模型和第二待訓(xùn)練模型；

第二獲取模塊，用于獲取所述第二待訓(xùn)練模型輸出的第一目標(biāo)預(yù)估信息，所述第一目標(biāo)預(yù)估信息為所述第二待訓(xùn)練模型輸出的與所述第一待訓(xùn)練模型輸入的特征信息相關(guān)的預(yù)估信息；

第一訓(xùn)練模塊，用于將所述第一目標(biāo)預(yù)估信息作為所述第一待訓(xùn)練模型對(duì)應(yīng)的第一標(biāo)簽信息，對(duì)所述第一待訓(xùn)練模型進(jìn)行訓(xùn)練，以更新所述第一待訓(xùn)練模型的參數(shù)。

根據(jù)本公開的第三方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，該指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行第一方面中的任一項(xiàng)方法。

根據(jù)本公開的第四方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行第一方面中的任一項(xiàng)方法。

根據(jù)本公開的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中的任一項(xiàng)方法。

根據(jù)本申請(qǐng)的技術(shù)解決了對(duì)于系統(tǒng)鏈上多個(gè)場景加載的相同任務(wù)但是結(jié)構(gòu)各異的預(yù)估模型的預(yù)估結(jié)果一致性比較低的問題，提高了多個(gè)預(yù)估模型的預(yù)估結(jié)果的一致性。