[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)在審
| 申請(qǐng)?zhí)枺?/td> | 201910907549.1 | 申請(qǐng)日： | 2019-09-24 |
| 公開(kāi)（公告）號(hào)： | CN110705691A | 公開(kāi)（公告）日： | 2020-01-17 |
| 發(fā)明（設(shè)計(jì)）人： | 李亮亮 | 申請(qǐng)（專利權(quán)）人： | 北京邁格威科技有限公司 |
| 主分類號(hào)： | G06N3/04 | 分類號(hào)： | G06N3/04;G06K9/62 |
| 代理公司： | 11722 北京鉦霖知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人： | 馮志云;李志新 |
| 地址： | 100190 北京市海淀區(qū)科*** | 國(guó)省代碼： | 北京;11 |
| 權(quán)利要求書(shū)： | 查看更多 | 說(shuō)明書(shū)： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 中間層 輸出 特征提取 特征圖 神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)輸出 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 監(jiān)督信號(hào) 結(jié)果特征 神經(jīng)網(wǎng)絡(luò) 蒸餾 迭代 收斂 節(jié)約 網(wǎng)絡(luò) | ||
1.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其中，所述方法包括：
獲取待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的多個(gè)中間層輸出的多個(gè)特征圖；
通過(guò)特征提取網(wǎng)絡(luò)對(duì)所述多個(gè)特征圖進(jìn)行特征提取，分別得到每個(gè)所述中間層的第一特征輸出；
根據(jù)多個(gè)所述第一特征輸出與所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)輸出的第二特征輸出，計(jì)算得到第一損失；
基于所述第一損失，調(diào)整所述多個(gè)中間層的參數(shù)。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)多個(gè)所述第一特征輸出與所述神經(jīng)網(wǎng)絡(luò)輸出的第二特征輸出，計(jì)算得到第一損失，包括：
每個(gè)所述第一特征輸出分別與所述第二特征輸出進(jìn)行比對(duì)，得到每個(gè)所述中間層對(duì)應(yīng)的中間層損失；
所述基于所述第一損失，調(diào)整所述多個(gè)中間層的參數(shù)，包括：基于所述中間層損失，調(diào)整對(duì)應(yīng)的中間層的參數(shù)以及對(duì)應(yīng)的中間層前序全部中間層的參數(shù)。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)多個(gè)所述第一特征輸出與所述神經(jīng)網(wǎng)絡(luò)輸出的第二特征輸出，計(jì)算得到第一損失，包括：
根據(jù)當(dāng)前輪的第二特征輸出與前N輪迭代的第二特征輸出，計(jì)算得到第一迭代損失，N為正整數(shù)；
所述基于所述第一損失，調(diào)整所述多個(gè)中間層的參數(shù)，包括：基于所述第一迭代損失，調(diào)整所述多個(gè)中間層的參數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)當(dāng)前輪的第二特征輸出與前N輪迭代的第二特征輸出，計(jì)算得到第一迭代損失，包括：
根據(jù)所述前N輪迭代的第二特征輸出分別對(duì)應(yīng)的第一權(quán)重系數(shù)，對(duì)多個(gè)所述前N輪迭代的第二特征輸出進(jìn)行加權(quán)拼接，得到前N輪迭代的加權(quán)特征輸出；
根據(jù)當(dāng)前輪的第二特征輸出與所述前N輪迭代的加權(quán)特征輸出，計(jì)算得到所述第一迭代損失。
5.根據(jù)權(quán)利要求4所述的方法，其中，第i輪迭代的第二特征輸出對(duì)應(yīng)的第一權(quán)重系數(shù)大于第j輪迭代的第二特征輸出對(duì)應(yīng)的第一權(quán)重系數(shù)，i、j均為正整數(shù)，且i＞j。
6.根據(jù)權(quán)利要求3所述的方法，其中，所述方法還包括：存儲(chǔ)各輪迭代的第二特征輸出。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)多個(gè)所述第一特征輸出與所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)輸出的第二特征輸出，計(jì)算得到第一損失，包括：
對(duì)所述第一特征輸出和所述第二特征輸出進(jìn)行拼接，得到第三特征輸出；
根據(jù)當(dāng)前輪的第二特征輸出與前M輪迭代的第三特征輸出或當(dāng)前輪的第三特征輸出與前M輪迭代的第三特征輸出，計(jì)算得到第二迭代損失，M為正整數(shù)；
所述基于所述第一損失，調(diào)整所述中間層的參數(shù)，包括：基于所述第二迭代損失，調(diào)整所述多個(gè)中間層的參數(shù)。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述根據(jù)當(dāng)前輪的第二特征輸出與前M輪迭代的第三特征輸出或當(dāng)前輪的第三特征輸出與前M輪迭代的第三特征輸出，計(jì)算得到第二迭代損失，包括：
根據(jù)所述前M輪迭代的第三特征輸出分別對(duì)應(yīng)的第二權(quán)重系數(shù)，對(duì)多個(gè)所述前M輪迭代的第三特征輸出進(jìn)行加權(quán)拼接，得到前M輪迭代的加權(quán)特征輸出；
根據(jù)所述當(dāng)前輪的第二特征輸出或所述當(dāng)前輪的第三特征輸出與所述前M輪迭代的加權(quán)特征輸出，計(jì)算得到所述第二迭代損失。
9.根據(jù)權(quán)利要求8所述的方法，其中，第g輪迭代的第三特征輸出對(duì)應(yīng)的第二權(quán)重系數(shù)大于第h輪迭代的第三特征輸出對(duì)應(yīng)的第二權(quán)重系數(shù)，g、h均為正整數(shù)，且g＞h。
10.根據(jù)權(quán)利要求7所述的方法，其中，所述方法還包括：存儲(chǔ)各輪迭代的第三特征輸出。
11.根據(jù)權(quán)利要求1-10任一項(xiàng)所述的方法，其中，所述特征提取網(wǎng)絡(luò)包括卷積層和全連接層。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京邁格威科技有限公司，未經(jīng)北京邁格威科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請(qǐng)聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910907549.1/1.html，轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。
