[發(fā)明專利]用于神經(jīng)網(wǎng)絡(luò)的注意力特征獲取方法、裝置及存儲介質(zhì)有效
| 申請?zhí)枺?/td> | 201811459423.4 | 申請日： | 2018-11-30 |
| 公開（公告）號： | CN109635926B | 公開（公告）日： | 2021-11-05 |
| 發(fā)明（設(shè)計(jì)）人： | 沈卓然;張明遠(yuǎn);趙海宇;伊帥;閆俊杰 | 申請（專利權(quán)）人： | 深圳市商湯科技有限公司 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04;G06N3/08 |
| 代理公司： | 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277 | 代理人： | 劉新宇 |
| 地址： | 518054 廣東省深圳市南*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 用于 神經(jīng)網(wǎng)絡(luò) 注意力 特征 獲取 方法 裝置 存儲 介質(zhì) | ||
1.一種用于神經(jīng)網(wǎng)絡(luò)的注意力特征獲取方法，其特征在于，包括：
獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)為圖像數(shù)據(jù)；
識別所述圖像數(shù)據(jù)中各特征點(diǎn)的特征向量，并根據(jù)各所述特征向量獲得輸入特征張量，所述特征點(diǎn)為所述圖像數(shù)據(jù)中的像素點(diǎn)；
對輸入特征張量進(jìn)行第一卷積處理，獲得多個(gè)基準(zhǔn)注意力張量，所述基準(zhǔn)注意力張量中的元素為與輸入特征張量中各所述特征點(diǎn)對應(yīng)的基準(zhǔn)注意力；
對所述輸入特征張量進(jìn)行第二卷積處理，獲得注意力系數(shù)張量，所述注意力系數(shù)張量中的元素為與所述輸入特征張量內(nèi)各所述特征點(diǎn)對應(yīng)的基準(zhǔn)注意力系數(shù)，并且所述注意力系數(shù)張量的通道數(shù)與所述基準(zhǔn)注意力張量的數(shù)量相同；
基于所述輸入特征張量與各所述基準(zhǔn)注意力張量，獲得與各基準(zhǔn)注意力張量對應(yīng)的基準(zhǔn)特征向量，所述基準(zhǔn)特征向量由所述輸入特征張量和所述基準(zhǔn)注意力張量中對應(yīng)元素的乘積之和構(gòu)成；
利用所述注意力系數(shù)張量與各所述基準(zhǔn)特征向量，得到各所述特征點(diǎn)的注意力特征，所述注意力特征用于表征輸入數(shù)據(jù)中各所述特征點(diǎn)的注意力。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對輸入特征張量進(jìn)行第一卷積處理，獲得多個(gè)基準(zhǔn)注意力張量，包括：
利用第一卷積核對所述輸入特征張量進(jìn)行卷積處理，獲得各所述基準(zhǔn)注意力張量，其中，
所述各基準(zhǔn)注意力張量的長度與輸入特征張量的長度相同，以及所述基準(zhǔn)注意力張量的寬度與輸入特征張量的寬度相同。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述對所述輸入特征張量進(jìn)行第二卷積處理，獲得注意力系數(shù)張量，包括：
利用第二卷積核對所述輸入特征張量進(jìn)行卷積處理，獲得各所述注意力系數(shù)張量，其中，
所述注意力系數(shù)張量的長度與輸入特征張量的長度相同，所述注意力系數(shù)張量的寬度與輸入特征張量的寬度相同。
4.根據(jù)權(quán)利要求1-2中任意一項(xiàng)所述的方法，其特征在于，所述基于所述輸入特征張量與各所述基準(zhǔn)注意力張量，獲得與各基準(zhǔn)注意力張量對應(yīng)的基準(zhǔn)特征向量，包括：
將所述輸入特征張量中各特征點(diǎn)對應(yīng)的特征向量與基準(zhǔn)注意力張量中相同特征點(diǎn)的基準(zhǔn)注意力相乘，得到針對基準(zhǔn)注意力張量中每個(gè)特征點(diǎn)的第一乘積；
將針對基準(zhǔn)注意力張量中每個(gè)特征點(diǎn)的第一乘積加和，獲得與基準(zhǔn)注意力張量對應(yīng)的基準(zhǔn)特征向量。
5.根據(jù)權(quán)利要求1-2中任意一項(xiàng)所述的方法，其特征在于，所述利用所述注意力系數(shù)張量與各所述基準(zhǔn)特征向量，得到各特征點(diǎn)的注意力特征，包括：
分別利用各所述基準(zhǔn)特征向量與注意力系數(shù)張量相乘，得到針對每個(gè)基準(zhǔn)特征向量的乘積張量；
將針對各基準(zhǔn)特征向量的乘積張量中相同特征點(diǎn)的乘積值相加，得到該特征點(diǎn)的注意力特征。
6.根據(jù)權(quán)利要求1-2中任意一項(xiàng)所述的方法，其特征在于，所述識別所述圖像數(shù)據(jù)中各特征點(diǎn)的特征向量，并根據(jù)各所述特征向量獲得輸入特征張量，包括：
識別所述輸入數(shù)據(jù)中各特征點(diǎn)的特征向量，并根據(jù)各所述特征向量獲得中間特征張量；
利用第三卷積核對所述中間特征張量執(zhí)行第三卷積處理，得到所述輸入特征張量，所述輸入特征張量的維度與所述中間特征張量的維度相同。
7.根據(jù)權(quán)利要求1-2中任意一項(xiàng)所述的方法，其特征在于，所述方法還包括：
對由各特征點(diǎn)對應(yīng)的注意力特征構(gòu)成的注意力特征張量執(zhí)行優(yōu)化處理，所述優(yōu)化處理包括：歸一化處理、降維處理、升維處理中的至少一種。
8.根據(jù)權(quán)利要求1-2中任意一項(xiàng)所述的方法，其特征在于，所述方法還包括：
將所述輸入特征張量和由各特征點(diǎn)對應(yīng)的注意力特征構(gòu)成的注意力特征張量輸入至殘差模塊進(jìn)行加和處理，得到優(yōu)化的注意力張量，所述優(yōu)化的注意力特征張量內(nèi)的元素為針對各特征點(diǎn)的注意力特征張量的優(yōu)化結(jié)果。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳市商湯科技有限公司，未經(jīng)深圳市商湯科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811459423.4/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 硬件神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法、計(jì)算裝置、軟硬件協(xié)作系統(tǒng)
- 生成較大神經(jīng)網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)的生成方法、生成裝置和電子設(shè)備
- 一種舌診方法、裝置、計(jì)算設(shè)備及計(jì)算機(jī)存儲介質(zhì)
- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法及相關(guān)轉(zhuǎn)換芯片
- 圖像處理方法、裝置、可讀存儲介質(zhì)和計(jì)算機(jī)設(shè)備
- 一種適應(yīng)目標(biāo)數(shù)據(jù)集的網(wǎng)絡(luò)模型微調(diào)方法、系統(tǒng)、終端和存儲介質(zhì)
- 用于重構(gòu)人工神經(jīng)網(wǎng)絡(luò)的處理器及其操作方法、電氣設(shè)備
- 一種圖像神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法及裝置
