[發(fā)明專(zhuān)利]超參數(shù)調(diào)整方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010819783.1
• 申請(qǐng)日: 2020-08-14
• 公開(kāi)（公告）號(hào): CN111814965A
• 公開(kāi)（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 劉君
• 申請(qǐng)（專(zhuān)利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 邢惠童

1.一種超參數(shù)調(diào)整方法，其特征在于，所述方法用于計(jì)算機(jī)設(shè)備，所述方法包括：

訓(xùn)練過(guò)程中，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的當(dāng)前前向推導(dǎo)偏差，所述當(dāng)前前向推導(dǎo)偏差根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型輸出的當(dāng)前前向推導(dǎo)結(jié)果和目標(biāo)推導(dǎo)結(jié)果確定得到；

響應(yīng)于所述當(dāng)前前向推導(dǎo)偏差不滿足訓(xùn)練完成條件，且當(dāng)前前向推導(dǎo)偏差和歷史前向推導(dǎo)偏差指示進(jìn)行超參數(shù)調(diào)整，將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的歷史訓(xùn)練數(shù)據(jù)輸入超參數(shù)調(diào)整模型，所述超參數(shù)調(diào)整模型是根據(jù)超參數(shù)歷史調(diào)整記錄訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)所述超參數(shù)調(diào)整模型輸出的超參數(shù)調(diào)整值調(diào)整超參數(shù)，并根據(jù)調(diào)整后的超參數(shù)訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于所述當(dāng)前前向推導(dǎo)偏差不滿足訓(xùn)練完成條件，且當(dāng)前前向推導(dǎo)偏差和歷史前向推導(dǎo)偏差指示進(jìn)行超參數(shù)調(diào)整，將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的歷史訓(xùn)練數(shù)據(jù)輸入超參數(shù)調(diào)整模型，包括：

響應(yīng)于所述當(dāng)前前向推導(dǎo)偏差大于偏差閾值，確定不滿足所述訓(xùn)練完成條件，并獲取所述歷史前向推導(dǎo)偏差；

根據(jù)所述當(dāng)前前向推導(dǎo)偏差和所述歷史前向推導(dǎo)偏差，確定前向推導(dǎo)偏差的變化趨勢(shì)；

響應(yīng)于所述變化趨勢(shì)不符合目標(biāo)收斂趨勢(shì)，將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的所述歷史訓(xùn)練數(shù)據(jù)輸入所述超參數(shù)調(diào)整模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述響應(yīng)于所述變化趨勢(shì)不符合目標(biāo)收斂趨勢(shì)，將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的所述歷史訓(xùn)練數(shù)據(jù)輸入所述超參數(shù)調(diào)整模型之前，所述方法還包括：

確定當(dāng)前訓(xùn)練進(jìn)度對(duì)應(yīng)的所述目標(biāo)收斂趨勢(shì)，其中，收斂趨勢(shì)所表征的收斂速率與訓(xùn)練進(jìn)度呈負(fù)相關(guān)關(guān)系。

4.根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述訓(xùn)練過(guò)程中，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的當(dāng)前前向推導(dǎo)偏差，包括：

訓(xùn)練過(guò)程中，每隔預(yù)設(shè)訓(xùn)練步數(shù)獲取所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的所述當(dāng)前前向推導(dǎo)偏差；

所述將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的歷史訓(xùn)練數(shù)據(jù)輸入超參數(shù)調(diào)整模型，包括：

獲取至少一組所述歷史訓(xùn)練數(shù)據(jù)，不同組歷史訓(xùn)練數(shù)據(jù)對(duì)應(yīng)不同訓(xùn)練步數(shù)，且每組所述歷史訓(xùn)練數(shù)據(jù)中包括歷史前向推導(dǎo)結(jié)果、所述歷史前向推導(dǎo)偏差、歷史模型參數(shù)、歷史模型參數(shù)調(diào)整量和歷史超參數(shù)調(diào)整值；

將至少一組所述歷史訓(xùn)練數(shù)據(jù)輸入所述超參數(shù)調(diào)整模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述超參數(shù)調(diào)整模型輸出的超參數(shù)調(diào)整值調(diào)整超參數(shù)，并根據(jù)調(diào)整后的超參數(shù)訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：

根據(jù)所述超參數(shù)調(diào)整模型輸出的所述超參數(shù)調(diào)整值調(diào)整超參數(shù)；

在當(dāng)前訓(xùn)練步數(shù)對(duì)應(yīng)模型參數(shù)的基礎(chǔ)上，根據(jù)調(diào)整后的超參數(shù)訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述超參數(shù)歷史調(diào)整記錄中包含回退量，所述回退量是根據(jù)調(diào)整后的超參數(shù)進(jìn)行訓(xùn)練前訓(xùn)練步數(shù)的回退步數(shù)，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型還用于根據(jù)所述歷史訓(xùn)練數(shù)據(jù)輸出目標(biāo)回退量；

所述根據(jù)所述超參數(shù)調(diào)整模型輸出的超參數(shù)調(diào)整值調(diào)整超參數(shù)，并根據(jù)調(diào)整后的超參數(shù)訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：

根據(jù)所述超參數(shù)調(diào)整模型輸出的所述目標(biāo)回退量以及當(dāng)前訓(xùn)練步數(shù)，確定目標(biāo)訓(xùn)練步數(shù)；

確定所述目標(biāo)訓(xùn)練步數(shù)下所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)歷史模型參數(shù)；

根據(jù)所述超參數(shù)調(diào)整模型輸出的所述超參數(shù)調(diào)整值調(diào)整超參數(shù)，并在所述目標(biāo)歷史模型參數(shù)的基礎(chǔ)上，根據(jù)調(diào)整后的超參數(shù)訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

7.根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的當(dāng)前前向推導(dǎo)偏差之后，所述方法還包括：

響應(yīng)于所述當(dāng)前前向推導(dǎo)偏差滿足所述訓(xùn)練完成條件，根據(jù)訓(xùn)練過(guò)程中超參數(shù)的歷史調(diào)整數(shù)據(jù)更新所述超參數(shù)歷史調(diào)整記錄；

根據(jù)更新后的所述超參數(shù)歷史調(diào)整記錄訓(xùn)練所述超參數(shù)調(diào)整模型。

8.根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述超參數(shù)調(diào)整模型是根據(jù)所述超參數(shù)歷史調(diào)整記錄訓(xùn)練得到的長(zhǎng)短期記憶LSTM網(wǎng)絡(luò)。