[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 201811284663.5 | 申請日： | 2018-10-31 |
| 公開（公告）號： | CN111126555A | 公開（公告）日： | 2020-05-08 |
| 發(fā)明（設(shè)計）人： | 張鵬國;李一力 | 申請（專利權(quán)）人： | 浙江宇視科技有限公司 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04;G06N3/08 |
| 代理公司： | 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371 | 代理人： | 王文紅 |
| 地址： | 310000 浙江省杭州市濱江區(qū)西興街道江陵路*** | 國省代碼： | 浙江;33 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 神經(jīng)網(wǎng)絡(luò) 模型 訓(xùn)練 方法 裝置 設(shè)備 存儲 介質(zhì) | ||
1.一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其特征在于，所述方法包括：
計算預(yù)訓(xùn)練得到的第一模型相對于待訓(xùn)練的第二模型的第一KL距離，以及待訓(xùn)練的第二模型相對于預(yù)訓(xùn)練得到的第一模型的第二KL距離；
將所述第一KL距離與所述第二KL距離相加，得到所述第二模型的損失函數(shù)；
根據(jù)所述損失函數(shù)對所述第二模型的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，使所述第二模型獲得所述第一模型的泛化能力。
2.如權(quán)利要求1所述的方法，其特征在于，所述第一模型包括第一特征層，所述第二模型包括第二特征層，所述計算預(yù)訓(xùn)練得到的第一模型相對于待訓(xùn)練的第二模型的第一KL距離，以及待訓(xùn)練的第二模型相對于預(yù)訓(xùn)練得到的第一模型的第二KL距離的步驟，包括：
獲取所述第一特征層與所述第二特征層對相同輸入數(shù)據(jù)進(jìn)行處理得到的第一特征向量和第二特征向量；
對所述第一特征向量和所述第二特征向量進(jìn)行處理，得到所述第一特征向量中每個元素相對于其他元素的相對概率所構(gòu)成的第一概率向量，以及所述第二特征向量中每個元素相對于其他元素的相對概率所構(gòu)成的第二概率向量；
基于所述第一概率向量和所述第二概率向量，計算得到所述第一KL距離及所述第二KL距離。
3.如權(quán)利要求2所述的方法，其特征在于，所述基于所述第一概率向量和所述第二概率向量，計算得到所述第一KL距離及所述第二KL距離的步驟，包括：
對所述第一概率向量中每個元素與第二概率向量中對應(yīng)元素的比值進(jìn)行對數(shù)運算，再分別乘以所述第一概率向量中的對應(yīng)元素，得到所述第一KL距離；
對所述第二概率向量中每個元素與第一概率向量中對應(yīng)元素的比值進(jìn)行對數(shù)運算，再分別乘以所述第二概率向量中的對應(yīng)元素，得到所述第二KL距離。
4.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述損失函數(shù)對所述第二模型的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整的步驟，包括：
根據(jù)所述損失函數(shù)確定所述第二模型的反向傳播梯度；
根據(jù)所述反向傳播梯度對所述第二特征層的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。
5.一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練裝置，其特征在于，所述裝置包括：
第一計算模塊，用于計算預(yù)訓(xùn)練得到的第一模型相對于待訓(xùn)練的第二模型的第一KL距離，以及待訓(xùn)練的第二模型相對于預(yù)訓(xùn)練得到的第一模型的第二KL距離；
第二計算模塊，用于將所述第一KL距離與所述第二KL距離相加，得到所述第二模型的損失函數(shù)；
參數(shù)調(diào)整模塊，用于根據(jù)所述損失函數(shù)對所述第二模型的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，使所述第二模型獲得所述第一模型的泛化能力。
6.如權(quán)利要求5所述的裝置，其特征在于，所述第一模型包括第一特征層，所述第二模型包括第二特征層，所述第一計算模塊具體用于：
獲取所述第一特征層與所述第二特征層對相同輸入數(shù)據(jù)進(jìn)行處理得到的第一特征向量和第二特征向量；
對所述第一特征向量和所述第二特征向量進(jìn)行處理，得到所述第一特征向量中每個元素相對于其他元素的相對概率所構(gòu)成的第一概率向量，以及所述第二特征向量中每個元素相對于其他元素的相對概率所構(gòu)成的第二概率向量；
基于所述第一概率向量和所述第二概率向量，計算得到所述第一KL距離及所述第二KL距離。
7.如權(quán)利要求6所述的裝置，其特征在于，所述第一計算模塊具體用于：
對所述第一概率向量中每個元素與第二概率向量中對應(yīng)元素的比值進(jìn)行對數(shù)運算，再分別乘以所述第一概率向量中的對應(yīng)元素，得到所述第一KL距離；
對所述第二概率向量中每個元素與第一概率向量中對應(yīng)元素的比值進(jìn)行對數(shù)運算，再分別乘以所述第二概率向量中的對應(yīng)元素，得到所述第二KL距離。
8.如權(quán)利要求6所述的裝置，其特征在于，所述參數(shù)調(diào)整模塊具體用于：
根據(jù)所述損失函數(shù)確定所述第二模型的反向傳播梯度；
根據(jù)所述反向傳播梯度對所述第二特征層的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于浙江宇視科技有限公司，未經(jīng)浙江宇視科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811284663.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 硬件神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法、計算裝置、軟硬件協(xié)作系統(tǒng)
- 生成較大神經(jīng)網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)的生成方法、生成裝置和電子設(shè)備
- 一種舌診方法、裝置、計算設(shè)備及計算機存儲介質(zhì)
- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法及相關(guān)轉(zhuǎn)換芯片
- 圖像處理方法、裝置、可讀存儲介質(zhì)和計算機設(shè)備
- 一種適應(yīng)目標(biāo)數(shù)據(jù)集的網(wǎng)絡(luò)模型微調(diào)方法、系統(tǒng)、終端和存儲介質(zhì)
- 用于重構(gòu)人工神經(jīng)網(wǎng)絡(luò)的處理器及其操作方法、電氣設(shè)備
- 一種圖像神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法及裝置
