[發(fā)明專利]基于跨階段局部特征融合策略的殘差網(wǎng)絡(luò)模型與模型的訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 202210382671.3
• 申請日: 2022-04-13
• 公開（公告）號: CN114818794A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 白劍宇;崔乾東;白昊天;文世挺;楊勁秋
• 申請（專利權(quán)）人: 浙大寧波理工學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 寧波市鄞州盛飛專利代理事務(wù)所(特殊普通合伙) 33243
• 代理人: 龍洋

本發(fā)明公開了一種基于跨階段局部特征融合策略的殘差網(wǎng)絡(luò)模型，涉及網(wǎng)絡(luò)模型領(lǐng)域，包括殘差塊，殘差塊中設(shè)置有左運(yùn)算通道、右運(yùn)算通道與合并單元，合并單元，用于合并輸出的殘差左特征向量與殘差右特征向量以得到殘差特征合并向量；還包括局部殘差模塊，其包括至少一個(gè)局部殘差塊，所述局部殘差塊用于對合并向量進(jìn)行拆分以得到右特征向量與左特征向量，并通過局部殘差塊中的右側(cè)梯度運(yùn)算通道對右特征向量進(jìn)行殘差運(yùn)算，通過局部殘差塊中的左側(cè)梯度運(yùn)算通道對左特征向量進(jìn)行特征運(yùn)算，本發(fā)明通過設(shè)置局部殘差塊增加了網(wǎng)絡(luò)分支的路徑，避免了深度殘差網(wǎng)絡(luò)中加深網(wǎng)絡(luò)層數(shù)使網(wǎng)絡(luò)參數(shù)數(shù)目增多，所要求的計(jì)算也呈指數(shù)型增長的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及殘差網(wǎng)絡(luò)模型領(lǐng)域，尤其涉及基于跨階段局部特征融合策略的殘差網(wǎng)絡(luò)模型與模型的訓(xùn)練方法。

背景技術(shù)

為了通過所采集來的刀具監(jiān)測信號對數(shù)控機(jī)床中刀具磨損的狀態(tài)實(shí)現(xiàn)精準(zhǔn)預(yù)測，需要建立預(yù)測刀具磨損狀態(tài)的神經(jīng)網(wǎng)絡(luò)模型。

與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，卷積神經(jīng)網(wǎng)絡(luò)基于深度網(wǎng)絡(luò)將線性不可分的問題轉(zhuǎn)變?yōu)榫€性可分的問題，可以自適應(yīng)提取最優(yōu)特征及建立模型，克服了手動提取特征需要先驗(yàn)經(jīng)驗(yàn)且步驟繁雜的不足。相對于淺層學(xué)習(xí)來說，深度網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)更多，數(shù)據(jù)分析能力更強(qiáng)。但這并不意味著我們可以無限增加網(wǎng)絡(luò)層數(shù)來提高模型的分類準(zhǔn)確率。隨著網(wǎng)絡(luò)的不斷加深，網(wǎng)絡(luò)將會發(fā)生退化的現(xiàn)象：網(wǎng)絡(luò)在訓(xùn)練集上的準(zhǔn)確率隨著層數(shù)的增多而提高，然后趨于飽和平穩(wěn)。此時(shí)如果再增加網(wǎng)絡(luò)深度，準(zhǔn)確率反而減小。所以說，冗余的網(wǎng)絡(luò)層學(xué)習(xí)造成了網(wǎng)絡(luò)退化。在實(shí)際研究中，一方面要避免因網(wǎng)絡(luò)層數(shù)過高而導(dǎo)致的網(wǎng)絡(luò)退化現(xiàn)象，另一方面又想要加深網(wǎng)絡(luò)，充分利用處理器算力，提高網(wǎng)絡(luò)性能。對此，何愷明團(tuán)隊(duì)提出的深度殘差網(wǎng)絡(luò)(Residual Network，ResNet)使用一條跨躍相鄰層的恒等映射來連接網(wǎng)絡(luò)不同層，模型在訓(xùn)練過程中可以自動選擇更新參數(shù)的路徑,很大程度上消除了網(wǎng)絡(luò)退化問題，簡化了網(wǎng)絡(luò)訓(xùn)練。雖然該深度殘差網(wǎng)絡(luò)的殘差思想，很好地解決了深度網(wǎng)絡(luò)所存在的退化現(xiàn)象，似乎只要設(shè)置更深層數(shù)的神經(jīng)網(wǎng)絡(luò)，就可以解決上述的難題。然而加深網(wǎng)絡(luò)層數(shù)會使網(wǎng)絡(luò)參數(shù)數(shù)目增多，所要求的計(jì)算也呈指數(shù)型增長，因此，我們不能無限制地增加網(wǎng)絡(luò)深度來提升網(wǎng)絡(luò)性能。因此本發(fā)明提出了一種基于跨階段局部特征融合策略的殘差網(wǎng)絡(luò)模型與模型的訓(xùn)練方法，本發(fā)明基于跨階段局部特征融合策略的殘差網(wǎng)絡(luò)模型利用網(wǎng)絡(luò)分支路徑數(shù)量比網(wǎng)絡(luò)的深度和寬度對于性能的提升更為關(guān)鍵的原理對殘差網(wǎng)絡(luò)做了進(jìn)一步的優(yōu)化，以精準(zhǔn)的預(yù)測出刀具的磨損狀態(tài)。

發(fā)明內(nèi)容

在深度殘差網(wǎng)絡(luò)中，雖然使用一條跨躍相鄰層的恒等映射來連接網(wǎng)絡(luò)不同層，使得模型在訓(xùn)練過程中可以自動選擇更新參數(shù)的路徑,能很大程度上消除網(wǎng)絡(luò)退化的問題，但是加深網(wǎng)絡(luò)層數(shù)會使網(wǎng)絡(luò)參數(shù)數(shù)目增多，所要求的計(jì)算也呈指數(shù)型增長，因此，本發(fā)明基于網(wǎng)絡(luò)分支路徑數(shù)量比網(wǎng)絡(luò)的深度和寬度對于性能的提升更為關(guān)鍵的原理提出了一種基于跨階段局部特征融合策略的殘差網(wǎng)絡(luò)模型，以解決上述技術(shù)問題，從而精準(zhǔn)的預(yù)測出刀具的磨損狀態(tài)；

一種基于跨階段局部特征融合策略的殘差網(wǎng)絡(luò)模型，用于預(yù)測數(shù)控機(jī)床中刀具的磨損狀態(tài)，包括：

信號輸入層，用于輸入刀具監(jiān)測信號；

卷積層，用于對刀具監(jiān)測信號進(jìn)行卷積計(jì)算以獲取信號特征向量；

批歸一化層，用于對信號特征向量進(jìn)行批歸一化；

激活層，用于對批歸一化后的信號特征向量進(jìn)行非線性運(yùn)算，以獲取信號激活特征向量；

殘差層，其包括殘差塊，殘差塊中設(shè)置有左運(yùn)算通道、右運(yùn)算通道與合并單元，其中，左運(yùn)算通道用于對信號激活特征向量進(jìn)行特征運(yùn)算以得到殘差左特征向量并輸出；右運(yùn)算通道用于對信號激活特征向量進(jìn)行下采樣以得到殘差右特征向量并輸出；合并單元，用于合并輸出的殘差左特征向量與殘差右特征向量以得到殘差特征合并向量；