[發(fā)明專(zhuān)利]神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910883124.1
• 申請(qǐng)日: 2019-09-18
• 公開(kāi)（公告）號(hào): CN112529146B
• 公開(kāi)（公告）日: 2023-10-17
• 發(fā)明（設(shè)計(jì)）人: 于德權(quán);吳覬豪;賈明波;馬杰延
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06N3/0464
• 分類(lèi)號(hào): G06N3/0464;G06V10/25;G06V10/82;G06N3/084
• 代理公司: 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11329
• 代理人: 王雷;時(shí)林

1.一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法，其特征在于，包括：

獲取神經(jīng)網(wǎng)絡(luò)模型、第一訓(xùn)練數(shù)據(jù)和所述第一訓(xùn)練數(shù)據(jù)的類(lèi)別，所述神經(jīng)網(wǎng)絡(luò)模型是根據(jù)第二訓(xùn)練數(shù)據(jù)訓(xùn)練得到的，所述第一訓(xùn)練數(shù)據(jù)包括支持?jǐn)?shù)據(jù)和查詢(xún)數(shù)據(jù)，所述支持?jǐn)?shù)據(jù)包括所述第一訓(xùn)練數(shù)據(jù)中的每一類(lèi)的全部或部分?jǐn)?shù)據(jù)，所述查詢(xún)數(shù)據(jù)包括所述第一訓(xùn)練數(shù)據(jù)中每一類(lèi)的全部或部分?jǐn)?shù)據(jù)；

利用所述神經(jīng)網(wǎng)絡(luò)模型對(duì)于所述第一訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，以得到所述第一訓(xùn)練數(shù)據(jù)的特征；

根據(jù)每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型中部分層的參數(shù)，以得到調(diào)整后的神經(jīng)網(wǎng)絡(luò)模型，所述每一類(lèi)的類(lèi)中心特征中的每一位為所述每一類(lèi)的所述支持?jǐn)?shù)據(jù)的特征對(duì)應(yīng)位的平均值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型中部分層的參數(shù)，包括：

根據(jù)所述每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，以及每一類(lèi)的第一訓(xùn)練數(shù)據(jù)的特征之間的特征距離的平均值，調(diào)整所述部分層的參數(shù)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述利用所述神經(jīng)網(wǎng)絡(luò)模型對(duì)于所述第一訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，以得到所述第一訓(xùn)練數(shù)據(jù)的特征，包括：

將所述第一訓(xùn)練數(shù)據(jù)輸入所述神經(jīng)網(wǎng)絡(luò)模型；

對(duì)所述神經(jīng)網(wǎng)絡(luò)模型提取的特征進(jìn)行深度哈希，以得到所述第一訓(xùn)練數(shù)據(jù)的特征。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，所述根據(jù)每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型中部分層的參數(shù)，包括：

當(dāng)所述第一訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量小于預(yù)設(shè)值時(shí)，通過(guò)貝葉斯優(yōu)化方案調(diào)整超參數(shù)，根據(jù)所述每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，調(diào)整所述部分層的參數(shù)；

當(dāng)所述第一訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量大于或等于所述預(yù)設(shè)值時(shí)，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的預(yù)設(shè)超參數(shù)以及所述每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，調(diào)整所述部分層的參數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述超參數(shù)包括學(xué)習(xí)率、學(xué)習(xí)率衰減速率、學(xué)習(xí)率衰減周期、迭代周期數(shù)量、批尺寸、神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)中的一種或多種。

6.一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法，其特征在于，包括：

獲取神經(jīng)網(wǎng)絡(luò)模型、第一訓(xùn)練數(shù)據(jù)和所述第一訓(xùn)練數(shù)據(jù)的類(lèi)別；

當(dāng)所述第一訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量小于預(yù)設(shè)值時(shí)，通過(guò)貝葉斯優(yōu)化方案調(diào)整超參數(shù)，根據(jù)所述第一訓(xùn)練數(shù)據(jù)和所述第一訓(xùn)練數(shù)據(jù)的類(lèi)別，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型；

當(dāng)所述第一訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量大于或等于所述預(yù)設(shè)值時(shí)，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的預(yù)設(shè)超參數(shù)、所述第一訓(xùn)練數(shù)據(jù)和所述第一訓(xùn)練數(shù)據(jù)的類(lèi)別，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型是根據(jù)第二訓(xùn)練數(shù)據(jù)訓(xùn)練得到的；

所述根據(jù)所述第一訓(xùn)練數(shù)據(jù)和所述第一訓(xùn)練數(shù)據(jù)的類(lèi)別，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，包括：

利用所述神經(jīng)網(wǎng)絡(luò)模型對(duì)于所述第一訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，以得到所述第一訓(xùn)練數(shù)據(jù)的特征，所述第一訓(xùn)練數(shù)據(jù)包括支持?jǐn)?shù)據(jù)和查詢(xún)數(shù)據(jù)，所述支持?jǐn)?shù)據(jù)包括所述第一訓(xùn)練數(shù)據(jù)中的每一類(lèi)的全部或部分?jǐn)?shù)據(jù)，所述查詢(xún)數(shù)據(jù)包括所述第一訓(xùn)練數(shù)據(jù)中每一類(lèi)的全部或部分?jǐn)?shù)據(jù)；

根據(jù)每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型中部分層的參數(shù)，以得到調(diào)整后的神經(jīng)網(wǎng)絡(luò)模型，所述每一類(lèi)的類(lèi)中心特征中的每一位為所述每一類(lèi)的所述支持?jǐn)?shù)據(jù)的特征對(duì)應(yīng)位的平均值。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型中部分層的參數(shù)，包括：

根據(jù)所述每一類(lèi)的類(lèi)中心特征與所述查詢(xún)數(shù)據(jù)特征的特征距離，以及每一類(lèi)的第一訓(xùn)練數(shù)據(jù)的特征之間的特征距離的平均值，調(diào)整所述部分層的參數(shù)。