[發(fā)明專(zhuān)利]基于差分注意力的深度學(xué)習(xí)、目標(biāo)檢測(cè)及語(yǔ)義分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110277583.2
• 申請(qǐng)日: 2021-03-15
• 公開(kāi)（公告）號(hào): CN112907607A
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 李學(xué)生;李晨;牟春
• 申請(qǐng)（專(zhuān)利權(quán)）人: 德魯動(dòng)力科技（成都）有限公司
• 主分類(lèi)號(hào): G06T7/12
• 分類(lèi)號(hào): G06T7/12;G06N3/04;G06N3/08
• 代理公司: 成都熠邦鼎立專(zhuān)利代理有限公司 51263
• 代理人: 李曉英

本發(fā)明涉及基于差分注意力的深度學(xué)習(xí)、目標(biāo)檢測(cè)及語(yǔ)義分割方法，包括步驟1，數(shù)據(jù)集處理：將數(shù)據(jù)變成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)需要的數(shù)據(jù)結(jié)構(gòu)；步驟2，包括：2.1，搭建傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)；2.2模型改進(jìn)：在卷積后添加一個(gè)差分注意力模塊，所述差分注意力模塊用于分別關(guān)注圖片寬方向和高方向的變化；步驟3，模型訓(xùn)練，得基于差分注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)。本發(fā)明克服現(xiàn)有注意力算法只利用當(dāng)前特征的缺點(diǎn)，將差分算法應(yīng)用于注意力算法，從而讓神經(jīng)網(wǎng)絡(luò)對(duì)圖像或特征圖的變化特征、紋理特征以及邊緣特征更加敏感，有利于神經(jīng)網(wǎng)絡(luò)模型在目標(biāo)檢測(cè)、圖像分割、摳圖等領(lǐng)域的表達(dá)能力；同時(shí)，相對(duì)于其他注意力算法，本發(fā)明只是增加了少量的運(yùn)算，非常利于實(shí)現(xiàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及基于差分注意力的深度學(xué)習(xí)、目標(biāo)檢測(cè)及語(yǔ)義分割方法。

背景技術(shù)

視覺(jué)注意力機(jī)制是人類(lèi)視覺(jué)所特有的大腦信號(hào)處理機(jī)制。人類(lèi)視覺(jué)通過(guò)快速掃描全局圖像，獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，也就是一般所說(shuō)的注意力焦點(diǎn)，而后對(duì)這一區(qū)域投入更多注意力資源。

注意力機(jī)制的本質(zhì)就是定位到感興趣的信息，抑制無(wú)用信息，結(jié)果通常都是以概率圖或者概率特征向量的形式展示，從原理上來(lái)說(shuō)，主要分為空間注意力模型、通道注意力模型以及空間與通道混合注意力模型三種。

其中，空間注意力的本質(zhì)就是在特征圖上通過(guò)一系列操作或者變化對(duì)每一個(gè)元素生成一個(gè)乘性權(quán)重，從而定位目標(biāo)在空間中的位置。比較著名的空間注意力算法有STN等。

而通道注意力機(jī)制就是在正常的卷積操作后分出了一個(gè)旁路分支，首先進(jìn)行Squeeze操作(比如，針對(duì)特征圖的平均等)，將空間維度進(jìn)行特征壓縮，即每個(gè)二維的特征圖變成一個(gè)實(shí)數(shù)，相當(dāng)于具有全局感受野的池化操作，特征通道數(shù)不變。得到每一個(gè)特征通道的權(quán)重之后，就將該權(quán)重應(yīng)用于原來(lái)的每個(gè)特征通道，基于特定的任務(wù)，就可以學(xué)習(xí)到不同通道的重要性。

空間與通道混合的注意力機(jī)制，如CBAM等主要是采取不同的方式將空間注意力算法生成的權(quán)重和通道注意力生成的權(quán)重進(jìn)行融合。

目前，在計(jì)算機(jī)視覺(jué)中應(yīng)用最多的自注意力算法為SEnet、SKnet、CBAM、STN和DCAnet。注意力機(jī)制算法要么學(xué)習(xí)通道之間的關(guān)聯(lián)，要么學(xué)習(xí)每個(gè)張量元素之間的關(guān)聯(lián)，從而增加模型在通道或張量元素的長(zhǎng)程相關(guān)性或整體相關(guān)性。

盡管，自注意力機(jī)制已在許多視覺(jué)任務(wù)中顯示出不錯(cuò)的性能，但這些只考慮當(dāng)前的特征，對(duì)差分信息或其他變化信息捕捉能力較差。因此，應(yīng)用這些注意力算法的網(wǎng)絡(luò)也會(huì)在邊緣特征或其他變化特征上表現(xiàn)不足。

發(fā)明內(nèi)容

本發(fā)明為了解決上述技術(shù)問(wèn)題提供基于差分注意力的深度學(xué)習(xí)方法。

本發(fā)明通過(guò)下述技術(shù)方案實(shí)現(xiàn)：

基于差分注意力的深度學(xué)習(xí)方法，包括以下步驟：

步驟1，數(shù)據(jù)集處理：將數(shù)據(jù)變成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)需要的數(shù)據(jù)結(jié)構(gòu)；

步驟2，構(gòu)造基于差分注意力機(jī)制的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，包括：

2.1，搭建傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)；

2.2模型改進(jìn)：在卷積后添加一個(gè)差分注意力模塊，所述差分注意力模塊用于分別關(guān)注圖片寬方向和高方向的變化；

步驟3，模型訓(xùn)練，得基于差分注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)。

其中，所述差分注意力模塊作用于卷積生成的高維張量。

進(jìn)一步的，所述差分注意力模塊分為第一分支和第二分支，第一分支關(guān)注寬方向的變化，第二分支關(guān)注高方向的變化。

進(jìn)一步的，差分注意力模塊的工作機(jī)制為：

S1，兩個(gè)分支同時(shí)對(duì)張量進(jìn)行處理：

所述第一分支包括以下步驟：