[發(fā)明專利]一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的方法、裝置、介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210031259.7
• 申請(qǐng)日: 2022-01-12
• 公開（公告）號(hào): CN114358284A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 袁泉;陳子灃;魏超;朱海勇;齊戰(zhàn)勝;李銘
• 申請(qǐng)（專利權(quán)）人: 廈門市美亞柏科信息股份有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06K9/62
• 代理公司: 廈門福貝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35235
• 代理人: 郭涵煒

1.一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的方法，其特征在于，該方法包括：

獲取步驟，獲取所述神經(jīng)網(wǎng)絡(luò)的初始權(quán)重?cái)?shù)據(jù)，并將所述初始權(quán)重?cái)?shù)據(jù)存儲(chǔ)在一指定存儲(chǔ)區(qū)中；

選擇步驟，從待訓(xùn)練的N個(gè)類別訓(xùn)練樣本集合中選擇n個(gè)未標(biāo)記類別樣本集合；

訓(xùn)練步驟，使用所述選擇n個(gè)未標(biāo)記類別樣本集合對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代計(jì)算得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)；

更新步驟，將訓(xùn)練后神經(jīng)網(wǎng)絡(luò)模型的權(quán)重?cái)?shù)據(jù)更新所述指定存儲(chǔ)區(qū)中的初始權(quán)重?cái)?shù)據(jù)；

其中，N遠(yuǎn)大于n，n大于或等于2。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述樣本集合為圖像樣本集合、文本樣本集合或語音樣本集合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述選擇步驟的操作為：從待訓(xùn)練的N個(gè)類別訓(xùn)練樣本集合中的所有未標(biāo)記的類別訓(xùn)練樣本集合中隨機(jī)選取一個(gè)類別訓(xùn)練樣本集合，然后在其余的未標(biāo)記的類別訓(xùn)練樣本集合中選取與選定的類別訓(xùn)練樣本集合相似度最近的n-1個(gè)類別訓(xùn)練樣本集合，然后標(biāo)記所述n個(gè)類別訓(xùn)練樣本集合，并將所述n個(gè)類別訓(xùn)練樣本集合中的樣本亂序排列。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，如果N個(gè)類別訓(xùn)練樣本集合中的所有類別均被標(biāo)記，則將所有標(biāo)記重置為未標(biāo)記。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述更新步驟的操作為：所述初始權(quán)重?cái)?shù)據(jù)按照所述神經(jīng)網(wǎng)絡(luò)的層存儲(chǔ)在所述指定存儲(chǔ)區(qū)中，獲取訓(xùn)練后神經(jīng)網(wǎng)絡(luò)模型的權(quán)重?cái)?shù)據(jù)，確定變化超過第一閾值的權(quán)重?cái)?shù)據(jù)及對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)的層，基于變化超過第一閾值的權(quán)重?cái)?shù)據(jù)及對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)的層更新所述指定存儲(chǔ)區(qū)中的初始權(quán)重?cái)?shù)據(jù)。

6.一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的裝置，其特征在于，該裝置包括：

獲取單元，獲取所述神經(jīng)網(wǎng)絡(luò)的初始權(quán)重?cái)?shù)據(jù)，并將所述初始權(quán)重?cái)?shù)據(jù)存儲(chǔ)在一指定存儲(chǔ)區(qū)中；

選擇單元，從待訓(xùn)練的N個(gè)類別訓(xùn)練樣本集合中選擇n個(gè)未標(biāo)記類別樣本集合；

訓(xùn)練單元，使用所述選擇n個(gè)未標(biāo)記類別樣本集合對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代計(jì)算得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)；

更新單元，將訓(xùn)練后神經(jīng)網(wǎng)絡(luò)模型的權(quán)重?cái)?shù)據(jù)更新所述指定存儲(chǔ)區(qū)中的初始權(quán)重?cái)?shù)據(jù)；

其中，N遠(yuǎn)大于n，n大于或等于2。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述選擇單元的操作為：從待訓(xùn)練的N個(gè)類別訓(xùn)練樣本集合中的所有未標(biāo)記的類別訓(xùn)練樣本集合中隨機(jī)選取一個(gè)類別訓(xùn)練樣本集合，然后在其余的未標(biāo)記的類別訓(xùn)練樣本集合中選取與選定的類別訓(xùn)練樣本集合相似度最近的n-1個(gè)類別訓(xùn)練樣本集合，然后標(biāo)記所述n個(gè)類別訓(xùn)練樣本集合，并將所述n個(gè)類別訓(xùn)練樣本集合中的樣本亂序排列。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，如果N個(gè)類別訓(xùn)練樣本集合中的所有類別均被標(biāo)記，則將所有標(biāo)記重置為未標(biāo)記。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述更新單元的操作為：所述初始權(quán)重?cái)?shù)據(jù)按照所述神經(jīng)網(wǎng)絡(luò)的層存儲(chǔ)在所述指定存儲(chǔ)區(qū)中，獲取訓(xùn)練后神經(jīng)網(wǎng)絡(luò)模型的權(quán)重?cái)?shù)據(jù)，確定變化超過第一閾值的權(quán)重?cái)?shù)據(jù)及對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)的層，基于變化超過第一閾值的權(quán)重?cái)?shù)據(jù)及對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)的層更新所述指定存儲(chǔ)區(qū)中的初始權(quán)重?cái)?shù)據(jù)。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-5任一項(xiàng)的方法。