[發(fā)明專利]模型生成方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911045637.1
• 申請(qǐng)日: 2019-10-30
• 公開（公告）號(hào): CN110807515B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 希滕;張剛;溫圣召
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06N3/045
• 分類號(hào): G06N3/045;G06N3/0464;G06N3/0442;G06N3/086
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種模型生成方法，應(yīng)用于電子設(shè)備的處理器，包括：通過依次執(zhí)行多次迭代操作生成用于執(zhí)行文本分類任務(wù)的神經(jīng)網(wǎng)絡(luò)模型；

其中，所述迭代操作包括：

基于當(dāng)前的獎(jiǎng)勵(lì)反饋值對(duì)預(yù)設(shè)的模型結(jié)構(gòu)控制器進(jìn)行更新，采用更新后的模型結(jié)構(gòu)控制器生成多個(gè)待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，所述獎(jiǎng)勵(lì)反饋值的初始值是預(yù)設(shè)的數(shù)值；

按照預(yù)設(shè)的分級(jí)訓(xùn)練方式，對(duì)待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行至少兩級(jí)訓(xùn)練，其中，相鄰的兩級(jí)訓(xùn)練中后一級(jí)訓(xùn)練對(duì)前一級(jí)訓(xùn)練中文本分類準(zhǔn)確度達(dá)到預(yù)設(shè)的文本分類準(zhǔn)確度條件的部分待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，且同一待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)在相鄰的兩級(jí)訓(xùn)練中的后一級(jí)訓(xùn)練的訓(xùn)練時(shí)間比前一級(jí)訓(xùn)練的訓(xùn)練時(shí)間長(zhǎng)；

根據(jù)經(jīng)過至少兩級(jí)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的文本分類準(zhǔn)確度更新所述獎(jiǎng)勵(lì)反饋值；

響應(yīng)于確定所述獎(jiǎng)勵(lì)反饋值達(dá)到預(yù)設(shè)的收斂條件或所述迭代操作的次數(shù)達(dá)到預(yù)設(shè)的閾值，確定當(dāng)前迭代操作中經(jīng)過至少兩級(jí)訓(xùn)練后文本分類準(zhǔn)確度最優(yōu)的神經(jīng)網(wǎng)絡(luò)為所述用于執(zhí)行文本分類任務(wù)的神經(jīng)網(wǎng)絡(luò)模型；其中，

所述按照預(yù)設(shè)的分級(jí)訓(xùn)練方式，對(duì)待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行至少兩級(jí)訓(xùn)練，包括：

將所述模型結(jié)構(gòu)控制器生成的各所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為第一級(jí)訓(xùn)練操作中的候選神經(jīng)網(wǎng)絡(luò)，執(zhí)行至少兩級(jí)訓(xùn)練操作，其中，所述訓(xùn)練操作包括：對(duì)當(dāng)前級(jí)訓(xùn)練操作中的各所述候選神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代更新，響應(yīng)于確定在執(zhí)行若干次迭代更新后達(dá)到當(dāng)前級(jí)訓(xùn)練操作的預(yù)設(shè)篩選節(jié)點(diǎn)，從當(dāng)前級(jí)訓(xùn)練操作的候選神經(jīng)網(wǎng)絡(luò)中篩選出性能滿足當(dāng)前級(jí)訓(xùn)練操作對(duì)應(yīng)的預(yù)設(shè)性能條件的候選神經(jīng)網(wǎng)絡(luò)作為下一級(jí)訓(xùn)練操作中的候選神經(jīng)網(wǎng)絡(luò)；以及

所述當(dāng)前級(jí)訓(xùn)練操作的預(yù)設(shè)篩選節(jié)點(diǎn)根據(jù)如下方式確定：

對(duì)當(dāng)前級(jí)訓(xùn)練操作中的待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行采樣，得到樣本神經(jīng)網(wǎng)絡(luò)；

確定隨迭代訓(xùn)練次數(shù)增加，所述樣本神經(jīng)網(wǎng)絡(luò)的性能參數(shù)的梯度；

將所述樣本神經(jīng)網(wǎng)絡(luò)的性能參數(shù)的梯度降低至預(yù)設(shè)的梯度閾值以下時(shí)所對(duì)應(yīng)的迭代訓(xùn)練次數(shù)確定為當(dāng)前級(jí)訓(xùn)練操作中的最大迭代訓(xùn)練次數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)經(jīng)過至少兩級(jí)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的性能更新所述獎(jiǎng)勵(lì)反饋值，包括：

根據(jù)執(zhí)行至少兩級(jí)訓(xùn)練操作后得到的候選神經(jīng)網(wǎng)絡(luò)的性能更新所述獎(jiǎng)勵(lì)反饋值。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述當(dāng)前級(jí)訓(xùn)練操作的預(yù)設(shè)篩選節(jié)點(diǎn)包括：

所述當(dāng)前級(jí)訓(xùn)練操作的累積訓(xùn)練時(shí)間達(dá)到相鄰的前一級(jí)訓(xùn)練操作的累積訓(xùn)練時(shí)間的預(yù)設(shè)倍數(shù)。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其中，所述對(duì)待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行至少兩級(jí)訓(xùn)練，包括：

采用模型蒸餾法，對(duì)所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行至少兩級(jí)訓(xùn)練。