[發(fā)明專利]一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的方法、裝置、介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210031259.7
• 申請(qǐng)日: 2022-01-12
• 公開（公告）號(hào): CN114358284A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 袁泉;陳子灃;魏超;朱海勇;齊戰(zhàn)勝;李銘
• 申請(qǐng)（專利權(quán)）人: 廈門市美亞柏科信息股份有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06K9/62
• 代理公司: 廈門福貝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35235
• 代理人: 郭涵煒

本發(fā)明提出了一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的方法、裝置及存儲(chǔ)介質(zhì)，該方法包括：獲取步驟，獲取所述神經(jīng)網(wǎng)絡(luò)的初始權(quán)重?cái)?shù)據(jù)，并將所述初始權(quán)重?cái)?shù)據(jù)存儲(chǔ)在一指定存儲(chǔ)區(qū)中；選擇步驟，從待訓(xùn)練的N個(gè)類別訓(xùn)練樣本集合中選擇n個(gè)未標(biāo)記類別樣本集合；訓(xùn)練步驟，使用所述選擇n個(gè)未標(biāo)記類別樣本集合對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代計(jì)算得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)；更新步驟，將訓(xùn)練后神經(jīng)網(wǎng)絡(luò)模型的權(quán)重?cái)?shù)據(jù)更新所述指定存儲(chǔ)區(qū)中的初始權(quán)重?cái)?shù)據(jù)；本發(fā)明中，從N個(gè)類別中選擇n個(gè)類別未標(biāo)記樣本集合標(biāo)記后進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在訓(xùn)練過程中充分利用樣本的類別信息，提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度，提高了更新效率，保證了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體涉及一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)中常需要含有類別信息以完成如分類、對(duì)不同類別檢測或回歸等針對(duì)多類別的任務(wù)。經(jīng)常的，這些類別信息也是未確定的，需要在訓(xùn)練過程中最優(yōu)化。這些類別信息常常作為網(wǎng)絡(luò)權(quán)重存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)特定的層中，參與訓(xùn)練與推理。類別數(shù)越多，所需的權(quán)重也就越多，這些層的訓(xùn)練與推理也就越慢。或者每次使用限定類別數(shù)的樣本對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練。

采用固定類別數(shù)目的方法(如softmax loss)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，如果類別過多(如數(shù)百萬類)，在含有類別信息這一層會(huì)占用大量計(jì)算、存儲(chǔ)資源，有時(shí)甚至?xí)捎谛枨筚Y源過多而無法訓(xùn)練。而不需要固定類別數(shù)目的方法(如triplet loss)往往收斂困難，需要較長的訓(xùn)練時(shí)間，且無法訓(xùn)練出類別權(quán)重。

針對(duì)上述問題，之前的申請(qǐng)201910538093.6解決了部分缺陷，但帶了新的問題，即在訓(xùn)練過程中，若是每次使用限定類別數(shù)的樣本對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練，選取樣本時(shí)，采用隨機(jī)的方法，并不能完全利用類別信息，導(dǎo)致訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)精度還是不夠高，這是其一；其二，目前所采用的神經(jīng)網(wǎng)絡(luò)規(guī)模較大，如果每次訓(xùn)練都全部更新權(quán)重?cái)?shù)據(jù)，對(duì)存儲(chǔ)區(qū)的讀寫耗時(shí)較大。

發(fā)明內(nèi)容

本發(fā)明針對(duì)上述現(xiàn)有技術(shù)中一個(gè)或多個(gè)技術(shù)缺陷，提出了如下技術(shù)方案。

一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的方法，該方法包括：

獲取步驟，獲取所述神經(jīng)網(wǎng)絡(luò)的初始權(quán)重?cái)?shù)據(jù)，并將所述初始權(quán)重?cái)?shù)據(jù)存儲(chǔ)在一指定存儲(chǔ)區(qū)中；

選擇步驟，從待訓(xùn)練的N個(gè)類別訓(xùn)練樣本集合中選擇n個(gè)未標(biāo)記類別樣本集合；

訓(xùn)練步驟，使用所述選擇n個(gè)未標(biāo)記類別樣本集合對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代計(jì)算得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)；

更新步驟，將訓(xùn)練后神經(jīng)網(wǎng)絡(luò)模型的權(quán)重?cái)?shù)據(jù)更新所述指定存儲(chǔ)區(qū)中的初始權(quán)重?cái)?shù)據(jù)；

其中，N遠(yuǎn)大于n，n大于或等于2。

更進(jìn)一步地，所述樣本集合為圖像樣本集合、文本樣本集合或語音樣本集合。

更進(jìn)一步地，所述選擇步驟的操作為：從待訓(xùn)練的N個(gè)類別訓(xùn)練樣本集合中的所有未標(biāo)記的類別訓(xùn)練樣本集合中隨機(jī)選取一個(gè)類別訓(xùn)練樣本集合，然后在其余的未標(biāo)記的類別訓(xùn)練樣本集合中選取與選定的類別訓(xùn)練樣本集合相似度最近的n-1個(gè)類別訓(xùn)練樣本集合，然后標(biāo)記所述n個(gè)類別訓(xùn)練樣本集合，并將所述n個(gè)類別訓(xùn)練樣本集合中的樣本亂序排列。

更進(jìn)一步地，如果N個(gè)類別訓(xùn)練樣本集合中的所有類別均被標(biāo)記，則將所有標(biāo)記重置為未標(biāo)記。

更進(jìn)一步地，所述更新步驟的操作為：所述初始權(quán)重?cái)?shù)據(jù)按照所述神經(jīng)網(wǎng)絡(luò)的層存儲(chǔ)在所述指定存儲(chǔ)區(qū)中，獲取訓(xùn)練后神經(jīng)網(wǎng)絡(luò)模型的權(quán)重?cái)?shù)據(jù)，確定變化超過第一閾值的權(quán)重?cái)?shù)據(jù)及對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)的層，基于變化超過第一閾值的權(quán)重?cái)?shù)據(jù)及對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)的層更新所述指定存儲(chǔ)區(qū)中的初始權(quán)重?cái)?shù)據(jù)。

本發(fā)明還提出了一種基于類別信息對(duì)神經(jīng)網(wǎng)絡(luò)分步訓(xùn)練的裝置，該裝置包括：