[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法和裝置

在審

• 申請?zhí)枺?/td>: 201911302307.6
• 申請日: 2019-12-17
• 公開（公告）號: CN112990424A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 孫海鳴
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 李珂珂

本申請公開了一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法和裝置，屬于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域。所述方法包括：獲取新增樣本集；將所述新增樣本集輸入目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中至少一個候選分割層輸出的特征數(shù)據(jù)集，其中，所述候選分割層為所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)層；確定每個候選分割層輸出的特征數(shù)據(jù)集的聚類程度，在所述候選分割層中確定出滿足預(yù)設(shè)條件的聚類程度對應(yīng)的目標(biāo)分割層；基于所述新增樣本集對所述目標(biāo)分割層之后的網(wǎng)絡(luò)層進(jìn)行訓(xùn)練。采用本申請，可以提高神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效率。

技術(shù)領(lǐng)域

本申請涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法和裝置。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)模型可以高效的完成諸如目標(biāo)檢測、目標(biāo)分類等任務(wù)，因此在安防、交通、工業(yè)生產(chǎn)等各個領(lǐng)域被廣泛使用。如果想要得到一個可以較為準(zhǔn)確的實(shí)現(xiàn)特定功能的神經(jīng)網(wǎng)絡(luò)模型，需要在建立神經(jīng)網(wǎng)絡(luò)模型之后，使用大量樣本對其進(jìn)行訓(xùn)練。對于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，較為常用的一種方式為增量訓(xùn)練，即訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型所使用的樣本不是一次提供的，而是分為多次提供。分批次對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

目前，采用增量訓(xùn)練的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時，每次獲取到新增樣本時，要使用新增樣本對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，調(diào)整神經(jīng)網(wǎng)絡(luò)中各網(wǎng)絡(luò)層的參數(shù)。

在實(shí)現(xiàn)本申請的過程中，申請人發(fā)現(xiàn)相關(guān)技術(shù)至少存在以下問題：

神經(jīng)網(wǎng)絡(luò)模型中網(wǎng)絡(luò)層較多時，每次獲取到新增樣本時，都要對整個神經(jīng)網(wǎng)絡(luò)模型中的各網(wǎng)絡(luò)層的參數(shù)進(jìn)行調(diào)整，訓(xùn)練效率較低。

發(fā)明內(nèi)容

為了解決相關(guān)技術(shù)的問題，本申請實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法和裝置。所述技術(shù)方案如下：

第一方面，提供了一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法，所述方法包括：

獲取新增樣本集；

將所述新增樣本集輸入目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中至少一個候選分割層輸出的特征數(shù)據(jù)集，其中，所述候選分割層為所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)層；

確定每個候選分割層輸出的特征數(shù)據(jù)集的聚類程度，在所述候選分割層中確定出滿足預(yù)設(shè)條件的聚類程度對應(yīng)的目標(biāo)分割層；

基于所述新增樣本集對所述目標(biāo)分割層之后的網(wǎng)絡(luò)層進(jìn)行訓(xùn)練。

可選的，所述獲取新增樣本之前，還包括：

根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中各網(wǎng)絡(luò)層的位置，在所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中確定出所述候選分割層。

可選的，所述根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中各網(wǎng)絡(luò)層的位置，在所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中確定出所述候選分割層，包括：

在所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)層中，確定出網(wǎng)絡(luò)連接層，作為所述候選分割層，其中，所述網(wǎng)絡(luò)連接層連接所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，如果將所述網(wǎng)絡(luò)連接層在所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中去除，則所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型分為獨(dú)立的兩部分。

可選的，所述確定每個候選分割層輸出的特征數(shù)據(jù)集的聚類程度，在所述候選分割層中確定出滿足預(yù)設(shè)條件的聚類程度對應(yīng)的目標(biāo)分割層，包括：

對于每個候選分割層，根據(jù)所述新增樣本集中各新增樣本所屬的類別，確定所述候選分割層輸出的特征數(shù)據(jù)集中每個特征數(shù)據(jù)所屬的類別，每個類別的特征數(shù)據(jù)組成所述類別的特征數(shù)據(jù)子集；

對于每個類別的特征數(shù)據(jù)子集，確定對應(yīng)的特征均值；

計(jì)算每個類別的特征數(shù)據(jù)子集中每個特征數(shù)據(jù)與所述特征數(shù)據(jù)子集對應(yīng)的特征均值之間的聚類距離；

基于每個類別的特征數(shù)據(jù)子集中每個特征數(shù)據(jù)與所述特征數(shù)據(jù)子集對應(yīng)的特征均值之間的聚類距離，和所述類別的特征數(shù)據(jù)的數(shù)目，確定所述類別的特征數(shù)據(jù)子集對應(yīng)的第一聚類距離均值；