[發(fā)明專利]超參數(shù)調(diào)整方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010819783.1
• 申請(qǐng)日: 2020-08-14
• 公開（公告）號(hào): CN111814965A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 劉君
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 邢惠童

本申請(qǐng)實(shí)施例公開了一種超參數(shù)調(diào)整方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，屬于人工智能領(lǐng)域。該方法包括：訓(xùn)練過程中，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的當(dāng)前前向推導(dǎo)偏差，當(dāng)前前向推導(dǎo)偏差根據(jù)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型輸出的當(dāng)前前向推導(dǎo)結(jié)果和目標(biāo)推導(dǎo)結(jié)果確定得到；響應(yīng)于當(dāng)前前向推導(dǎo)偏差不滿足訓(xùn)練完成條件，且當(dāng)前前向推導(dǎo)偏差和歷史前向推導(dǎo)偏差指示進(jìn)行超參數(shù)調(diào)整，將目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的歷史訓(xùn)練數(shù)據(jù)輸入超參數(shù)調(diào)整模型；根據(jù)超參數(shù)調(diào)整模型輸出的超參數(shù)調(diào)整值調(diào)整超參數(shù)，并根據(jù)調(diào)整后的超參數(shù)訓(xùn)練目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。本申請(qǐng)實(shí)施例實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中超參數(shù)的自動(dòng)化調(diào)整，有助于提高超參數(shù)的調(diào)整效率，進(jìn)而提高神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效率。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及人工智能領(lǐng)域，特別涉及一種超參數(shù)調(diào)整方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

超參數(shù)(Hyper Parameter)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)過程中，用于控制神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、性能以及訓(xùn)練效率的參數(shù)，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中起著重要作用。

通常情況下，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)前，開發(fā)人員會(huì)根據(jù)經(jīng)驗(yàn)設(shè)置初始超參數(shù)，并在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，根據(jù)神經(jīng)網(wǎng)絡(luò)的實(shí)際訓(xùn)練情況，根據(jù)經(jīng)驗(yàn)手動(dòng)調(diào)整超參數(shù)，以提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率和質(zhì)量。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種超參數(shù)調(diào)整方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。所述技術(shù)方案如下：

一方面，本申請(qǐng)實(shí)施例提供了一種超參數(shù)調(diào)整方法，所述方法包括：

訓(xùn)練過程中，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的當(dāng)前前向推導(dǎo)偏差，所述當(dāng)前前向推導(dǎo)偏差根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型輸出的當(dāng)前前向推導(dǎo)結(jié)果和目標(biāo)推導(dǎo)結(jié)果確定得到；

響應(yīng)于所述當(dāng)前前向推導(dǎo)偏差不滿足訓(xùn)練完成條件，且當(dāng)前前向推導(dǎo)偏差和歷史前向推導(dǎo)偏差指示進(jìn)行超參數(shù)調(diào)整，將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的歷史訓(xùn)練數(shù)據(jù)輸入超參數(shù)調(diào)整模型，所述超參數(shù)調(diào)整模型是根據(jù)超參數(shù)歷史調(diào)整記錄訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)所述超參數(shù)調(diào)整模型輸出的超參數(shù)調(diào)整值調(diào)整超參數(shù)，并根據(jù)調(diào)整后的超參數(shù)訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

另一方面，本申請(qǐng)實(shí)施例提供了一種超參數(shù)調(diào)整裝置，所述裝置包括：

偏差獲取模塊，用于在訓(xùn)練過程中，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的當(dāng)前前向推導(dǎo)偏差，所述當(dāng)前前向推導(dǎo)偏差根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型輸出的當(dāng)前前向推導(dǎo)結(jié)果和目標(biāo)推導(dǎo)結(jié)果確定得到；

數(shù)據(jù)輸入模塊，用于響應(yīng)于所述當(dāng)前前向推導(dǎo)偏差不滿足訓(xùn)練完成條件，且當(dāng)前前向推導(dǎo)偏差和歷史前向推導(dǎo)偏差指示進(jìn)行超參數(shù)調(diào)整，將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的歷史訓(xùn)練數(shù)據(jù)輸入超參數(shù)調(diào)整模型，所述超參數(shù)調(diào)整模型是根據(jù)超參數(shù)歷史調(diào)整記錄訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型；

調(diào)整模塊，用于根據(jù)所述超參數(shù)調(diào)整模型輸出的超參數(shù)調(diào)整值調(diào)整超參數(shù)，并根據(jù)調(diào)整后的超參數(shù)訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

另一方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括處理器和存儲(chǔ)器；所述存儲(chǔ)器存儲(chǔ)有至少一條指令，所述至少一條指令用于被所述處理器執(zhí)行以實(shí)現(xiàn)如上述方面所述的超參數(shù)調(diào)整方法。

另一方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有至少一條指令，所述至少一條指令用于被處理器執(zhí)行以實(shí)現(xiàn)如上述方面所述的超參數(shù)調(diào)整方法。

另一方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序，該計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序包括計(jì)算機(jī)指令，該計(jì)算機(jī)指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。計(jì)算機(jī)設(shè)備的處理器從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)讀取該計(jì)算機(jī)指令，處理器執(zhí)行該計(jì)算機(jī)指令，使得該計(jì)算機(jī)設(shè)備執(zhí)行上述方面提供的超參數(shù)調(diào)整方法。

本申請(qǐng)實(shí)施例提供的技術(shù)方案至少包括如下有益效果：