[發(fā)明專利]一種模型訓(xùn)練方法、裝置、服務(wù)器及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011576010.1
• 申請日: 2020-12-28
• 公開（公告）號: CN112668639A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 辛永欣
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京眾達(dá)德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 徐彥圣

本發(fā)明公開了一種模型訓(xùn)練方法、裝置、服務(wù)器及存儲介質(zhì)，所述方法包括：確定初始圖像識別模型，以及用于模型訓(xùn)練的初始樣本數(shù)量；將所述初始圖像識別模型作為當(dāng)前圖像識別模型，將所述初始樣本數(shù)量作為當(dāng)前樣本數(shù)量，執(zhí)行模型參數(shù)調(diào)整步驟；基于N輪訓(xùn)練得到的N個(gè)梯度矩陣，確定是否需要對所述當(dāng)前樣本數(shù)量進(jìn)行調(diào)整；若是，增加所述當(dāng)前樣本數(shù)量，將增加后的樣本數(shù)量作為所述當(dāng)前樣本數(shù)量，再次執(zhí)行所述模型參數(shù)調(diào)整步驟，直至完成所述初始圖像識別模型的訓(xùn)練為止。本發(fā)明可以有效地提升模型訓(xùn)練的效率，使訓(xùn)練模型更快達(dá)到最優(yōu)模型。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種模型訓(xùn)練方法、裝置、服務(wù)器及存儲介質(zhì)。

背景技術(shù)

隨著科學(xué)技術(shù)的不斷發(fā)展，圖像識別技術(shù)被應(yīng)用在越來越多的領(lǐng)域中，圖像識別通常可以通過機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)。現(xiàn)有技術(shù)中，在使用機(jī)器學(xué)習(xí)模型對圖像進(jìn)行識別時(shí)，需要對機(jī)器模型進(jìn)行迭代訓(xùn)練。在模型迭代訓(xùn)練過程中需要通過對模型參數(shù)進(jìn)行調(diào)整以得到最優(yōu)的機(jī)器模型。

超參數(shù)是在開始模型訓(xùn)練過程之前設(shè)置值的參數(shù)，而不是通過訓(xùn)練得到的參數(shù)數(shù)據(jù)，超參數(shù)有很多種，如學(xué)習(xí)率、網(wǎng)絡(luò)層數(shù)、神經(jīng)元節(jié)點(diǎn)數(shù)、Batch_Size(每次訓(xùn)練所選的樣本數(shù)大小)等。在機(jī)器學(xué)習(xí)領(lǐng)域中，超參數(shù)的設(shè)置對于模型性能有著直接的影響，合適的超參數(shù)能夠使模型更快收斂以達(dá)到最優(yōu)模型。所以，如何優(yōu)化超參數(shù)在深度學(xué)習(xí)中至關(guān)重要。

現(xiàn)有技術(shù)中，通常是使用手動(dòng)調(diào)參、網(wǎng)格化尋優(yōu)、隨機(jī)尋優(yōu)等方式來調(diào)整超參數(shù)。對于Batch_Size，現(xiàn)有技術(shù)中都是通過遍歷所有取值來獲取最優(yōu)Batch_Size的。

但本申請發(fā)明人在實(shí)現(xiàn)本申請實(shí)施例中發(fā)明技術(shù)方案的過程中，發(fā)現(xiàn)上述技術(shù)至少存在如下技術(shù)問題：

手動(dòng)調(diào)參等方式使得模型優(yōu)化訓(xùn)練效率低下、模型收斂速度慢，且浪費(fèi)大量資源。

發(fā)明內(nèi)容

本申請實(shí)施例通過提供一種模型訓(xùn)練方法、裝置、服務(wù)器及存儲介質(zhì)，解決了現(xiàn)有技術(shù)中手動(dòng)調(diào)參等方式使得模型優(yōu)化訓(xùn)練效率低下、模型收斂速度慢，且浪費(fèi)大量資源的技術(shù)問題，實(shí)現(xiàn)了提高模型訓(xùn)練效率、提升模型收斂速度、節(jié)約資源的技術(shù)效果。

第一方面，本申請?zhí)峁┮环N模型訓(xùn)練方法，所述方法包括：

確定初始圖像識別模型，以及用于模型訓(xùn)練的初始樣本數(shù)量；

將所述初始圖像識別模型作為當(dāng)前圖像識別模型，將所述初始樣本數(shù)量作為當(dāng)前樣本數(shù)量，執(zhí)行模型參數(shù)調(diào)整步驟，所述模型參數(shù)調(diào)整步驟包括：基于所述當(dāng)前樣本數(shù)量的樣本圖像，對所述當(dāng)前圖像識別模型進(jìn)行N輪訓(xùn)練，得到與每輪訓(xùn)練對應(yīng)的梯度矩陣；基于所述每輪訓(xùn)練對應(yīng)的梯度矩陣，對模型參數(shù)進(jìn)行調(diào)整，其中N為大于1的正整數(shù)；

基于N輪訓(xùn)練得到的N個(gè)梯度矩陣，確定是否需要對所述當(dāng)前樣本數(shù)量進(jìn)行調(diào)整；若是，增加所述當(dāng)前樣本數(shù)量，將增加后的樣本數(shù)量作為所述當(dāng)前樣本數(shù)量，再次執(zhí)行所述模型參數(shù)調(diào)整步驟，直至完成所述初始圖像識別模型的訓(xùn)練為止。

優(yōu)選地，所述N輪訓(xùn)練得到的N個(gè)梯度矩陣，確定是否需要對所述當(dāng)前樣本數(shù)量進(jìn)行調(diào)整，包括：

在所述N個(gè)梯度矩陣中確定出兩個(gè)目標(biāo)梯度矩陣；

基于所述兩個(gè)目標(biāo)梯度矩陣，確定是否需要對所述當(dāng)前樣本數(shù)量進(jìn)行調(diào)整。

優(yōu)選地，所述基于所述兩個(gè)目標(biāo)梯度矩陣，確定是否需要對所述當(dāng)前樣本數(shù)量進(jìn)行調(diào)整，包括：

從所述兩個(gè)目標(biāo)梯度矩陣中抽取M組梯度向量組，其中，每組梯度向量組包含兩個(gè)梯度向量，所述兩個(gè)梯度向量分別位于所述兩個(gè)目標(biāo)梯度矩陣的相同位置，M為正整數(shù)；

計(jì)算所述每組梯度向量組中兩個(gè)梯度向量的余弦值，并基于所述每組梯度向量組對應(yīng)的余弦值，確定是否需要對所述當(dāng)前樣本數(shù)量進(jìn)行調(diào)整。