[發(fā)明專利]基于差分注意力的深度學(xué)習(xí)、目標(biāo)檢測及語義分割方法

在審

• 申請?zhí)枺?/td>: 202110277583.2
• 申請日: 2021-03-15
• 公開（公告）號: CN112907607A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 李學(xué)生;李晨;牟春
• 申請（專利權(quán)）人: 德魯動(dòng)力科技（成都）有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06N3/04;G06N3/08
• 代理公司: 成都熠邦鼎立專利代理有限公司 51263
• 代理人: 李曉英

1.基于差分注意力的深度學(xué)習(xí)方法，其特征在于：包括：

步驟1，搭建傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)；

步驟2，模型改進(jìn)：在卷積后添加一個(gè)差分注意力模塊，所述差分注意力模塊用于分別關(guān)注圖片寬方向和高方向的變化。

2.根據(jù)權(quán)利要求1所述的基于差分注意力的深度學(xué)習(xí)方法，其特征在于：所述差分注意力模塊作用于卷積生成的高維張量。

3.根據(jù)權(quán)利要求2所述的基于差分注意力的深度學(xué)習(xí)方法，其特征在于：所述差分注意力模塊分為第一分支和第二分支，第一分支關(guān)注寬方向的變化，第二分支關(guān)注高方向的變化。

4.根據(jù)權(quán)利要求3所述的基于差分注意力的深度學(xué)習(xí)方法，其特征在于：差分注意力模塊的工作機(jī)制為：

S1，兩個(gè)分支同時(shí)對張量進(jìn)行處理：

所述第一分支包括以下步驟：

A1，對維度為的高維張量做方向的差分卷積運(yùn)算；

A2，對A1生成的張量做行相關(guān)運(yùn)算，生成的相關(guān)矩陣；

A3，對A2生成的相關(guān)矩陣做flatten操作，變成一維向量，然后通過線性變換生成的向量；

所述第二分支包括以下步驟：

B1，對維度為的高維張量做方向的差分卷積運(yùn)算；

B2，對B1生成的張量做列相關(guān)運(yùn)算，生成的相關(guān)矩陣；

B3，對B2生成的相關(guān)矩陣做flatten操作，變成一維向量，然后通過線性變換生成的向量；

S2，將兩個(gè)分支上最終生成的向量按照元素求和，得張量：然后針對每一個(gè)元素做sigmoid運(yùn)算，把每一個(gè)元素的值變成[0，1]的一個(gè)權(quán)重；

S3，把的張量進(jìn)行reshape操作，變成一個(gè)的一個(gè)張量，然后再和原張量做按位乘法運(yùn)算，完成attention操作。

5.根據(jù)權(quán)利要求4所述的基于差分注意力的深度學(xué)習(xí)方法，其特征在于：所述A1具體為：先初始化一個(gè)維度為的對角方向上的差分卷積核，差分卷積核的權(quán)重設(shè)置為[1，-1]；然后對張量做卷積，生成的張量。

6.根據(jù)權(quán)利要求4或5所述的基于差分注意力的深度學(xué)習(xí)方法，其特征在于：所述B1具體為：先初始化一個(gè)維度為對角方向上的差分卷積核，差分卷積核的權(quán)重設(shè)置為[1，-1]；然后對張量做卷積，生成的張量。

7.基于差分注意力機(jī)制的目標(biāo)檢測方法，其特征在于：包括以下步驟：

步驟1，制作數(shù)據(jù)集：收集不同環(huán)境下包含待檢測目標(biāo)的數(shù)據(jù)，然后在數(shù)據(jù)集中標(biāo)注待測目標(biāo)，形成標(biāo)注框；

步驟2，數(shù)據(jù)集處理：將數(shù)據(jù)變成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)需要的數(shù)據(jù)結(jié)構(gòu)；

步驟3，構(gòu)造基于差分注意力機(jī)制的目標(biāo)檢測模型，包括：

3.1，搭建傳統(tǒng)的ssd檢測模型；

3.2模型改進(jìn)：在卷積后添加如權(quán)利要求1-6中任一項(xiàng)所述的差分注意力模塊；

步驟3，模型訓(xùn)練，得基于差分注意力機(jī)制的目標(biāo)檢測模型。

8.根據(jù)權(quán)利要求7所述的基于差分注意力機(jī)制的目標(biāo)檢測方法，其特征在于：所述步驟3.1中的ssd檢測模型為以vgg16為backbone的ssd檢測網(wǎng)絡(luò)。

9.基于差分注意力機(jī)制的語義分割方法，其特征在于：包括以下步驟：

步驟1，制作數(shù)據(jù)集：收集不同環(huán)境下包含待分割目標(biāo)的數(shù)據(jù)，然后在數(shù)據(jù)集中標(biāo)注待分割目標(biāo)，形成掩碼標(biāo)注信息；

步驟2，數(shù)據(jù)集處理：將數(shù)據(jù)變成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)需要的數(shù)據(jù)結(jié)構(gòu)；

步驟3，構(gòu)造基于差分注意力機(jī)制的語義分割模型，包括：

3.1，搭建傳統(tǒng)的語義分割模型；

3.2模型改進(jìn)：在卷積后添加如權(quán)利要求1-6中任一項(xiàng)所述的差分注意力模塊；

步驟3，模型訓(xùn)練，得基于差分注意力機(jī)制的語義分割模型。

10.根據(jù)權(quán)利要求9所述的基于差分注意力機(jī)制的語義分割方法，其特征在于：所述步驟3.1中的語義分割模型為Unet。