[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浞椒?/span>在審
| 申請?zhí)枺?/td> | 202010012122.8 | 申請日： | 2020-01-07 |
| 公開（公告）號： | CN111340179A | 公開（公告）日： | 2020-06-26 |
| 發(fā)明（設(shè)計(jì)）人： | 朱徽;徐勇軍;安竹林;楊傳廣;趙二虎 | 申請（專利權(quán)）人： | 中國科學(xué)院計(jì)算技術(shù)研究所 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04;G06N3/08 |
| 代理公司： | 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280 | 代理人： | 王勇 |
| 地址： | 100190 北*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 卷積 神經(jīng)網(wǎng)絡(luò) 拓?fù)?/a> 方法 | ||
1.一種卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浞椒?，其特征在于，包括?/p>
S1、訓(xùn)練待拓?fù)涞木矸e神經(jīng)網(wǎng)絡(luò)多次，記錄其在圖像測試集上的準(zhǔn)確率；
S2、對經(jīng)步驟S1訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行一次或多次拓?fù)?；其中，第一次拓?fù)涫菑念A(yù)設(shè)的拓?fù)浞绞街须S機(jī)選擇一種方式對待拓?fù)涞木矸e神經(jīng)網(wǎng)絡(luò)進(jìn)行拓?fù)洳僮?；從第二次拓?fù)溟_始，每次拓?fù)涫菑念A(yù)設(shè)的拓?fù)浞绞街须S機(jī)選擇一種方式對上一次拓?fù)浜蟮木矸e神經(jīng)網(wǎng)絡(luò)進(jìn)行拓?fù)洳僮鳌?/p>
2.根據(jù)權(quán)利要求1所述的一種卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浞椒?，其特征在于?/p>
所述步驟S1中，對待拓?fù)涞木矸e神經(jīng)網(wǎng)絡(luò)訓(xùn)練多次是指對待拓?fù)涞木矸e神經(jīng)網(wǎng)絡(luò)訓(xùn)練至少50次或在卷積神經(jīng)網(wǎng)絡(luò)在圖像測試集上的準(zhǔn)確率達(dá)到80％時(shí)停止訓(xùn)練，以先滿足的一個(gè)條件為準(zhǔn)。
3.根據(jù)權(quán)利要求1至2任一所述的一種卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浞椒?，其特征在于，所述預(yù)設(shè)的拓?fù)浞绞桨ㄈ缦路绞街械囊环N或多種：
拓寬：隨機(jī)選擇待拓?fù)渚矸e神經(jīng)網(wǎng)絡(luò)中某一卷積層作為拓?fù)鋵ο?，對該卷積層的濾波器進(jìn)行隨機(jī)復(fù)制，并將復(fù)制的濾波器添加到原卷積層中以使原卷積層被拓寬成為新的卷積層；
拆分：隨機(jī)選擇待拓?fù)渚矸e神經(jīng)網(wǎng)絡(luò)中某一卷積層作為拓?fù)鋵ο螅瑢⒃摼矸e層的濾波器進(jìn)行等分，拆分為濾波器數(shù)量相同的兩個(gè)新卷積層，并對兩個(gè)新卷積層的輸出進(jìn)行連接操作；
加深：隨機(jī)選擇待拓?fù)渚矸e神經(jīng)網(wǎng)絡(luò)中某一卷積層作為拓?fù)鋵ο?，在該卷積層后直接添加一個(gè)與該卷積層濾波器數(shù)量相同的新卷積層；
添加短路連接：隨機(jī)選擇待拓?fù)渚矸e神經(jīng)網(wǎng)絡(luò)中某一卷積層作為拓?fù)鋵ο螅谠摼矸e層后直接添加一個(gè)與該卷積層濾波器數(shù)量相同的且參數(shù)為0的新卷積層，并將該卷積層的輸出與新卷積層的輸出進(jìn)行疊加操作；
添加密集連接：隨機(jī)選擇待拓?fù)渚矸e神經(jīng)網(wǎng)絡(luò)中某一卷積層作為拓?fù)鋵ο?，在該卷積層后直接添加一個(gè)與該卷積層濾波器數(shù)量相同的且參數(shù)為0的新卷積層，并將該卷積層的輸出與新卷積層的輸出進(jìn)行連接操作。
4.根據(jù)權(quán)利要求3所述的一種卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浞椒ǎ涮卣髟谟冢?/p>
每次拓?fù)洳捎没诠δ鼙３值姆绞綄矸e神經(jīng)網(wǎng)絡(luò)進(jìn)行拓?fù)洳僮?，以本次拓?fù)淝暗木矸e神經(jīng)網(wǎng)絡(luò)為教師網(wǎng)絡(luò)進(jìn)行功能保持的遷移學(xué)習(xí)得到的學(xué)生網(wǎng)絡(luò)為本次拓?fù)浜蟮木矸e神經(jīng)網(wǎng)絡(luò)。
5.根據(jù)權(quán)利要求4所述的一種卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浞椒?，其特征在于?/p>
在拓寬的拓?fù)浞绞街?，將拓寬后的新卷積層中因復(fù)制增加的新濾波器的輸入?yún)?shù)設(shè)置為原卷積層中被復(fù)制的濾波器對應(yīng)的輸入?yún)?shù)，該新卷積層中其他未被復(fù)制過的濾波器的輸入?yún)?shù)保持不變；將卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浜蟮男戮矸e層中因復(fù)制增加的新濾波器以及被復(fù)制的濾波器的輸出參數(shù)設(shè)置為被復(fù)制的濾波器原輸出參數(shù)的1/(x+1)，其中x代表該濾波器被復(fù)制的次數(shù)；
在拆分的拓?fù)浞绞街?，將拆分后的兩個(gè)新卷積層中濾波器的輸入?yún)?shù)和輸出參數(shù)與被拆分前卷積層中對應(yīng)濾波器的輸入?yún)?shù)和輸出參數(shù)保持一致；
在加深的拓?fù)浞绞街校⑿戮矸e層中與原卷積層中直接對應(yīng)的濾波器間的連接的參數(shù)設(shè)置為1，其余濾波器間的連接的參數(shù)設(shè)置為0，使新卷積層的輸出與原卷積層的輸出保持不變，以將上一層卷積層的輸出特征圖像在不變的情況下傳遞給下一卷積層。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中國科學(xué)院計(jì)算技術(shù)研究所，未經(jīng)中國科學(xué)院計(jì)算技術(shù)研究所許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010012122.8/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 卷積運(yùn)算處理方法及相關(guān)產(chǎn)品
- 一種卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算方法及系統(tǒng)
- 卷積運(yùn)算方法及系統(tǒng)
- 卷積運(yùn)算方法、裝置及系統(tǒng)
- 深度神經(jīng)網(wǎng)絡(luò)裁剪方法、裝置及電子設(shè)備
- 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理方法和圖像處理裝置
- 卷積神經(jīng)網(wǎng)絡(luò)及基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理方法
- 一種圖像處理方法、裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)
- 用于卷積神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算裝置
- 基于FPGA實(shí)現(xiàn)圖像識(shí)別的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)
- 硬件神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法、計(jì)算裝置、軟硬件協(xié)作系統(tǒng)
- 生成較大神經(jīng)網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)的生成方法、生成裝置和電子設(shè)備
- 一種舌診方法、裝置、計(jì)算設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)
- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法及相關(guān)轉(zhuǎn)換芯片
- 圖像處理方法、裝置、可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備
- 一種適應(yīng)目標(biāo)數(shù)據(jù)集的網(wǎng)絡(luò)模型微調(diào)方法、系統(tǒng)、終端和存儲(chǔ)介質(zhì)
- 用于重構(gòu)人工神經(jīng)網(wǎng)絡(luò)的處理器及其操作方法、電氣設(shè)備
- 一種圖像神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法及裝置
- 動(dòng)態(tài)分布式環(huán)境中的自動(dòng)拓?fù)湫纬煞椒?、系統(tǒng)及程序產(chǎn)品
- 一種網(wǎng)絡(luò)管理拓?fù)涞奶幚矸椒跋到y(tǒng)
- 物理拓?fù)涫褂霉芾矸椒ê拖到y(tǒng)
- 拓?fù)溥m配方法及裝置
- 一種基于SNMP和HTML5實(shí)現(xiàn)web網(wǎng)絡(luò)拓?fù)涞姆椒?/a>
- 一種網(wǎng)絡(luò)拓?fù)浣y(tǒng)一管理方法及系統(tǒng)
- 一種拓?fù)湟晥D的加載顯示方法及系統(tǒng)
- 開關(guān)磁阻電機(jī)功率拓?fù)渫扑]方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)
- 靈活定義的城域網(wǎng)網(wǎng)絡(luò)拓?fù)渖煞椒ê脱b置
- 一種網(wǎng)絡(luò)拓?fù)鋬?yōu)化方法、裝置以及系統(tǒng)
- 一種數(shù)據(jù)庫讀寫分離的方法和裝置
- 一種手機(jī)動(dòng)漫人物及背景創(chuàng)作方法
- 一種通訊綜合測試終端的測試方法
- 一種服裝用人體測量基準(zhǔn)點(diǎn)的獲取方法
- 系統(tǒng)升級方法及裝置
- 用于虛擬和接口方法調(diào)用的裝置和方法
- 線程狀態(tài)監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)
- 一種JAVA智能卡及其虛擬機(jī)組件優(yōu)化方法
- 檢測程序中方法耗時(shí)的方法、裝置及存儲(chǔ)介質(zhì)
- 函數(shù)的執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)
