[發(fā)明專利]一種對輕量化卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到預(yù)訓(xùn)練模型的方法

在審

• 申請?zhí)枺?/td>: 202210019983.8
• 申請日: 2022-01-10
• 公開（公告）號: CN114298286A
• 公開（公告）日: 2022-04-08
• 發(fā)明（設(shè)計(jì)）人: 徐嘉輝;王彬;徐凱;陳石;鄭清;王中杰
• 申請（專利權(quán)）人: 江蘇稻源科技集團(tuán)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 吳旭

本發(fā)明公開了一種對輕量化卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到預(yù)訓(xùn)練模型的方法，本方法在訓(xùn)練輕量化卷積神經(jīng)網(wǎng)絡(luò)時(shí)，通過識別網(wǎng)絡(luò)的訓(xùn)練進(jìn)度，即當(dāng)網(wǎng)絡(luò)誤差趨于平緩的時(shí)候，并根據(jù)訓(xùn)練精度凍結(jié)網(wǎng)絡(luò)的主干部分參數(shù)，集中算力訓(xùn)練剩下的參數(shù)，當(dāng)網(wǎng)絡(luò)誤差再次趨于平緩的時(shí)候，將凍結(jié)的參數(shù)解凍后進(jìn)行整個(gè)網(wǎng)絡(luò)的整體訓(xùn)練，這樣能節(jié)約訓(xùn)練的時(shí)間并提高網(wǎng)絡(luò)的精度，從而達(dá)到更好的效果。通過本方法訓(xùn)練得到預(yù)訓(xùn)練模型，適用于進(jìn)行遷移學(xué)習(xí)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，特別涉及一種輕量化卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用在圖像分類、物體檢測、目標(biāo)跟蹤等計(jì)算機(jī)視覺任務(wù)中，并取得了巨大成功。然而，由于存儲空間和算力資源限制，卷積神經(jīng)網(wǎng)絡(luò)模型在移動設(shè)備和嵌入式設(shè)備上的存儲與計(jì)算仍然是一個(gè)巨大的挑戰(zhàn)。

輕量化卷積神經(jīng)網(wǎng)絡(luò)旨在保持模型精度基礎(chǔ)上進(jìn)一步減少模型參數(shù)量和復(fù)雜度，逐漸成為計(jì)算機(jī)視覺中的一個(gè)研究熱點(diǎn)。輕量化卷積神經(jīng)網(wǎng)絡(luò)既包含了對網(wǎng)絡(luò)結(jié)構(gòu)的探索，又有例如知識蒸餾、剪枝等模型壓縮技術(shù)的運(yùn)用，推動了深度學(xué)習(xí)技術(shù)在移動端、嵌入式端的應(yīng)用落地，在智能家居、安防、自動駕駛、智慧海洋等領(lǐng)域都有重要貢獻(xiàn)。

目前訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的方法主要包括：直接訓(xùn)練和遷移學(xué)習(xí)。遷移學(xué)習(xí)即在通過大型開源數(shù)據(jù)集訓(xùn)練出來的預(yù)訓(xùn)練模型的基礎(chǔ)上，用自己的數(shù)據(jù)集對預(yù)訓(xùn)練模型的參數(shù)進(jìn)行微調(diào)，這樣能夠大大加快網(wǎng)絡(luò)的擬合速度，提高網(wǎng)絡(luò)的精度。

但是在實(shí)際應(yīng)用當(dāng)中，由于不同的數(shù)據(jù)集有不同的特征，開源的輕量化卷積神經(jīng)網(wǎng)絡(luò)無法完美的滿足實(shí)際的需求，技術(shù)人員往往需要對這些輕量化卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行修改以達(dá)到更好的要求。然而在這種情況下，現(xiàn)有的訓(xùn)練方法存在以下問題：

1.遷移學(xué)習(xí)：由于遷移學(xué)習(xí)要求預(yù)訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)和當(dāng)前所使用的網(wǎng)絡(luò)結(jié)構(gòu)相同，所以在對輕量化卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改之后，無法再使用開源的預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)。

2.直接訓(xùn)練：由于在實(shí)際應(yīng)用中，網(wǎng)絡(luò)的權(quán)重參數(shù)的數(shù)量非常的少而且自己使用的數(shù)據(jù)集圖片數(shù)量都不多，所以在用自己的數(shù)據(jù)集直接訓(xùn)練時(shí)，網(wǎng)絡(luò)擬合的速度非常慢而且精度不高。

發(fā)明內(nèi)容

發(fā)明目的：針對上述現(xiàn)有技術(shù)，對于權(quán)重參數(shù)數(shù)量較少的輕量化卷積神經(jīng)網(wǎng)絡(luò)，提出一種對輕量化卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到預(yù)訓(xùn)練模型的方法，節(jié)約訓(xùn)練的時(shí)間并提高訓(xùn)練后網(wǎng)絡(luò)的精度，得到的預(yù)訓(xùn)練模型適用于遷移學(xué)習(xí)。

技術(shù)方案：一種對輕量化卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到預(yù)訓(xùn)練模型的方法，包括如下步驟：

步驟1：構(gòu)建需要進(jìn)行訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，采集圖片數(shù)據(jù)集，并對圖片數(shù)據(jù)進(jìn)行預(yù)處理得到訓(xùn)練數(shù)據(jù)；其中，所述預(yù)處理包括對圖像依次進(jìn)行歸一化、圖像翻轉(zhuǎn)、色域變換等處理；

步驟2：定義變量start和end用來分別記錄初始epoch和結(jié)束epoch的誤差，初始epoch和結(jié)束epoch間隔a個(gè)epoch，定義變量threshold用來設(shè)置凍結(jié)參數(shù)的閾值，開始訓(xùn)練后，每過a個(gè)epoch，計(jì)算|start-end|的值，并與threshold相比較，threshold的值設(shè)定為b，若|start-end|的值小于threshold，則進(jìn)行步驟2；

步驟3：凍結(jié)主干網(wǎng)絡(luò)所有參數(shù)的訓(xùn)練，在繼續(xù)訓(xùn)練過程中，訓(xùn)練除主干網(wǎng)絡(luò)的其他部分的參數(shù)；

步驟4：每過a個(gè)epoch計(jì)算|start-end|的值，設(shè)定threshold的值為c，c小于b，若|start-end|的值小于threshold，則進(jìn)行步驟4；

步驟5：解凍主干網(wǎng)絡(luò)的參數(shù)訓(xùn)練，對整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行整體訓(xùn)練，直至完成網(wǎng)絡(luò)訓(xùn)練得到預(yù)訓(xùn)練模型。

進(jìn)一步的，所述a的取值范圍為6~12。

進(jìn)一步的，所述b的值小于1。