[發(fā)明專利]一種基于逐層漸進式的高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法

在審

• 申請?zhí)枺?/td>: 202110418695.5
• 申請日: 2021-04-19
• 公開（公告）號: CN113344173A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 劉星宇;熊偉明;王濤;蔣佳;王易;梁虹;金鑫;徐航
• 申請（專利權(quán)）人: 湖南大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于逐層漸進式的高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，包括以下步驟：

步驟一、該算法主要包括三部分：搜索空間、搜索策略和評估方法，搜索空間采用SEMBConv和Bottleneck結(jié)合的搜索空間，搜索策略使用逐層搜索法，評估方法引入推理時延，綜合推理時延和精度進行評估；

步驟二、假設(shè)搜索空間中存在n種不同的操作，那么采用逐層漸近式的搜索方法時，每一層都有n種操作可選，因此整個搜索空間中的網(wǎng)絡(luò)模型個數(shù)是n^layer(假設(shè)網(wǎng)絡(luò)為layer層)；

步驟三、本設(shè)計的搜索策略采用逐層漸進式搜索方法，將網(wǎng)絡(luò)層劃分為待定層和確定層(圖1)，逐層確定操作，具體的方法又可以分為單層訓(xùn)練和融合訓(xùn)練，并且增加了確定層的融合訓(xùn)練來保證模型的復(fù)雜度與結(jié)果的可觀性；

步驟四、在逐層搜索操作中，搜索策略的一個訓(xùn)練周期包含搜索、評估、選擇、確定層訓(xùn)練(在當前待定層中的操作評估確定后，在進入確定層之前，需進行一次融合訓(xùn)練)；

步驟五、在待定層的訓(xùn)練完成之后都要進行評估，評估分數(shù)由準確度和推理時延加權(quán)，最后選擇得分最高的操作；

步驟六、重復(fù)步驟四，直到所有網(wǎng)絡(luò)層訓(xùn)練完成。

2.如權(quán)利要求1所述的基于逐層漸進式高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于所述步驟二中所描述的搜索空間中的操作，在本設(shè)計種將其視為cell。它的內(nèi)部結(jié)構(gòu)已經(jīng)固定不需要搜索，cell的多樣性與depth wise convolution和point wise convolution的kernel size等等超參數(shù)有關(guān)。SEMBconv搜索空間中是在MBconv搜索空間的基礎(chǔ)上增加Squeeze-and-Excitation操作。MBconv采用的是depth wise separable convolution,這使得它的參數(shù)量要遠遠少于普通的卷積，這符合我們要設(shè)計一個輕量的高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的目標；

SEMBConv相較于MBConv增加的Squeeze-and-Excitation操作，這一技術(shù)被應(yīng)用在卷積網(wǎng)絡(luò)中可以簡單理解為關(guān)注每一層的feature map channel中具有重要信息的那些channel，而將那些不太重要的channel減少甚至不去關(guān)注，這些關(guān)注程度的大小是由一個權(quán)值控制的，由于這一技術(shù)只考慮channel的重要程度，因此使用全相關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)出一個channel維向量，并且這個向量的每一維就對應(yīng)那一個channel的重要程度；

搜索空間應(yīng)用的另一種cell是pyramid net中的bottleneck，這一操作是基于殘差塊進行的改進。在經(jīng)典的殘差網(wǎng)絡(luò)中，淺層的feature map中的信息可以通過殘差傳遞到更深層的網(wǎng)絡(luò)而不會消失，這樣通過殘差可以使得網(wǎng)絡(luò)變得更深而不會隨著模型越來越深效果變差；而Bottleneck就是普通殘差塊的一個變種，通過使用倆個1x1的fliter減少參數(shù)量。本設(shè)計采用Pyramid net中的bottleneck,它的不同之處在于由上而下channel數(shù)量在增加，類似金字塔，在本設(shè)計中，每一層之間channel數(shù)增加的多少是以加法的增加方式，因為乘法方式增加的channel數(shù)以指數(shù)級增長，需要很大的計算量和推理時延，不符合本設(shè)計要求輕量的目標；

將SEMBConv和Bottlneck混合，具體候選操作如下：

如果最終搜索到的神經(jīng)網(wǎng)絡(luò)某一層為Zero，那么這一層相當于沒有發(fā)揮作用，直接將上一層的輸入原封不動的通過skip connection傳遞到了下一層，采用這一搜索空間可以減少搜索到的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)量以及推理時延，使網(wǎng)絡(luò)模型變得更加的輕量。

3.如權(quán)利要求1所述的基于逐層漸進式高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述步驟三中，采用確定層的融合訓(xùn)練使得單層訓(xùn)練之后的操作與確定層中的操作權(quán)值參數(shù)能夠互相協(xié)調(diào)。