[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、分類方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201811237860.1
• 申請日: 2018-10-23
• 公開（公告）號: CN111091175A
• 公開（公告）日: 2020-05-01
• 發(fā)明（設(shè)計(jì)）人: 趙元;辛穎;沈海峰
• 申請（專利權(quán)）人: 北京嘀嘀無限科技發(fā)展有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 鄧超

本申請涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、分類方法、裝置和電子設(shè)備。其中，神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法包括：獲取當(dāng)前應(yīng)用場景對應(yīng)的神經(jīng)網(wǎng)絡(luò)初始模型和當(dāng)前應(yīng)用場景對應(yīng)的實(shí)際樣本集；該神經(jīng)網(wǎng)絡(luò)初始模型的至少一個(gè)網(wǎng)絡(luò)層包含有多個(gè)激活函數(shù)；通過實(shí)際樣本集訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)初始模型，以從至少一個(gè)網(wǎng)絡(luò)層包含的多個(gè)激活函數(shù)中確定最優(yōu)激活函數(shù)；將確定出最優(yōu)激活函數(shù)的神經(jīng)網(wǎng)絡(luò)初始模型，作為當(dāng)前應(yīng)用場景的神經(jīng)網(wǎng)絡(luò)模型。相比激活函數(shù)單一且固定的模型，本申請訓(xùn)練的模型具有較好的通用性和擴(kuò)展性，提升了模型的訓(xùn)練靈活性和效率。

技術(shù)領(lǐng)域

本申請涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、分類方法、裝置和電子設(shè)備。

背景技術(shù)

隨著人工智能(Airificial Intelligence，AI)應(yīng)用的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用場景越來越多，例如在機(jī)器學(xué)習(xí)、專家系統(tǒng)、智能控制、模式識別、計(jì)算機(jī)視覺、自適應(yīng)濾波、信息處理、非線性系統(tǒng)辨識以及非線性系統(tǒng)、組合優(yōu)化等領(lǐng)域均有對其的研究。

為了滿足復(fù)雜應(yīng)用場景的任務(wù)需求，神經(jīng)網(wǎng)絡(luò)模型中通常會引入激活函數(shù)，現(xiàn)有神經(jīng)網(wǎng)絡(luò)模型中的激活函數(shù)大多為人為規(guī)定的一種函數(shù)。這種單一激活函數(shù)的神經(jīng)網(wǎng)絡(luò)模型，限制了該模型的應(yīng)用范圍，并且由于人為規(guī)定的激活函數(shù)，其與應(yīng)用場景的匹配性也可能較差，導(dǎo)致需要花費(fèi)大量的時(shí)間訓(xùn)練模型，模型的訓(xùn)練效率較差。

發(fā)明內(nèi)容

有鑒于此，本申請實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、分類方法、裝置和電子設(shè)備，以及計(jì)算機(jī)可讀介質(zhì)，用以提升模型的訓(xùn)練靈活性和效率。

第一方面，本申請實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，所述方法包括：獲取當(dāng)前應(yīng)用場景對應(yīng)的神經(jīng)網(wǎng)絡(luò)初始模型和所述當(dāng)前應(yīng)用場景對應(yīng)的實(shí)際樣本集；其中，所述神經(jīng)網(wǎng)絡(luò)初始模型的至少一個(gè)網(wǎng)絡(luò)層包含有多個(gè)激活函數(shù)；通過所述實(shí)際樣本集訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)初始模型，以從所述至少一個(gè)網(wǎng)絡(luò)層包含的多個(gè)激活函數(shù)中確定最優(yōu)激活函數(shù)；將確定出所述最優(yōu)激活函數(shù)的神經(jīng)網(wǎng)絡(luò)初始模型，作為所述當(dāng)前應(yīng)用場景的神經(jīng)網(wǎng)絡(luò)模型。

在本發(fā)明較佳的實(shí)施例中，所述獲取當(dāng)前應(yīng)用場景對應(yīng)的神經(jīng)網(wǎng)絡(luò)初始模型的步驟，包括：從第三方數(shù)據(jù)集訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)模型中選擇當(dāng)前應(yīng)用場景對應(yīng)的第一網(wǎng)絡(luò)模型；將所述第一網(wǎng)絡(luò)模型的網(wǎng)絡(luò)權(quán)重遷移至所述當(dāng)前應(yīng)用場景對應(yīng)的第二網(wǎng)絡(luò)模型，得到所述當(dāng)前應(yīng)用場景對應(yīng)的神經(jīng)網(wǎng)絡(luò)初始模型；其中，所述第二網(wǎng)絡(luò)模型的至少一個(gè)網(wǎng)絡(luò)層包含有多個(gè)激活函數(shù)，所述第二網(wǎng)絡(luò)模型的全連接層和輸出層與所述當(dāng)前應(yīng)用場景的任務(wù)需求匹配。

在本發(fā)明較佳的實(shí)施例中，將所述第一網(wǎng)絡(luò)模型的網(wǎng)絡(luò)權(quán)重遷移至所述當(dāng)前應(yīng)用場景對應(yīng)的第二網(wǎng)絡(luò)模型的步驟，包括：將所述第一網(wǎng)絡(luò)模型的卷積層的網(wǎng)絡(luò)權(quán)重遷移至所述當(dāng)前應(yīng)用場景對應(yīng)的第二網(wǎng)絡(luò)模型的卷積層；將所述第一網(wǎng)絡(luò)模型的池化層的網(wǎng)絡(luò)權(quán)重遷移至所述當(dāng)前應(yīng)用場景對應(yīng)的第二網(wǎng)絡(luò)模型的池化層。

在本發(fā)明較佳的實(shí)施例中，通過所述實(shí)際樣本集訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)初始模型的步驟，包括：從所述實(shí)際樣本集選擇當(dāng)前樣本；將當(dāng)前樣本輸入所述神經(jīng)網(wǎng)絡(luò)初始模型；如果當(dāng)前卷積層配置有多個(gè)激活函數(shù)，使用所述當(dāng)前卷積層輸出的特征向量對所述多個(gè)激活函數(shù)中的每個(gè)激活函數(shù)進(jìn)行訓(xùn)練，得到每個(gè)所述激活函數(shù)對應(yīng)的損失值；將最小損失值對應(yīng)的所述激活函數(shù)作為所述卷積層的最優(yōu)激活函數(shù)。

在本發(fā)明較佳的實(shí)施例中，使用所述當(dāng)前卷積層輸出的特征向量對所述多個(gè)激活函數(shù)中的每個(gè)激活函數(shù)進(jìn)行訓(xùn)練的步驟，包括：逐一選擇每個(gè)所述激活函數(shù)作為所述當(dāng)前卷積層的激活函數(shù)；將所述特征向量輸入所述激活函數(shù)，將每個(gè)所述激活函數(shù)的輸出值輸入至下一個(gè)網(wǎng)絡(luò)層，直至得到所述神經(jīng)網(wǎng)絡(luò)初始模型的輸出結(jié)果；根據(jù)所述輸出結(jié)果計(jì)算所述激活函數(shù)對應(yīng)的損失值。

在本發(fā)明較佳的實(shí)施例中，每個(gè)所述激活函數(shù)訓(xùn)練過程中，維持所述神經(jīng)網(wǎng)絡(luò)初始模型的參數(shù)不變。