[發(fā)明專(zhuān)利]基于自注意力機(jī)制融合上下文信息的向量確定方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110488969.8
• 申請(qǐng)日: 2021-04-29
• 公開(kāi)（公告）號(hào): CN113177562A
• 公開(kāi)（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 李業(yè)豪;姚霆;潘瀅煒;梅濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 京東數(shù)字科技控股股份有限公司
• 主分類(lèi)號(hào): G06K9/46
• 分類(lèi)號(hào): G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請(qǐng)公開(kāi)了一種基于自注意力機(jī)制融合上下文信息的向量確定方法及裝置。方法的一具體實(shí)施方式包括：確定特征圖中的特征點(diǎn)的關(guān)鍵向量、查詢(xún)向量和值向量；以預(yù)設(shè)尺寸的卷積核對(duì)特征圖中的特征點(diǎn)的關(guān)鍵向量進(jìn)行卷積操作，得到融合特征點(diǎn)的上下文信息的一階上下文關(guān)鍵向量；根據(jù)一階上下文關(guān)鍵向量、得到一階上下文關(guān)鍵向量的卷積操作的感受野對(duì)應(yīng)的查詢(xún)向量和值向量，得到二階上下文關(guān)鍵向量；融合一階上下文關(guān)鍵向量和二階上下文關(guān)鍵向量，確定目標(biāo)向量。本申請(qǐng)?zhí)峁┝艘环N基于自注意力機(jī)制確定融合了上下文信息的向量的方法，提高了目標(biāo)向量的表達(dá)能力；進(jìn)而，可以為機(jī)器視覺(jué)任務(wù)提供表達(dá)能力更強(qiáng)的目標(biāo)向量，提高處理機(jī)器視覺(jué)任務(wù)的準(zhǔn)確度。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種基于自注意力機(jī)制融合上下文信息的向量確定方法及裝置。

背景技術(shù)

受自然語(yǔ)言處理領(lǐng)域的自注意力機(jī)制(self-attention in Transformer)的啟發(fā)，在機(jī)器視覺(jué)識(shí)別領(lǐng)域，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)漸漸開(kāi)始融入了自注意力機(jī)制。傳統(tǒng)的自注意力機(jī)制一般是通過(guò)兩兩獨(dú)立的查詢(xún)向量-關(guān)鍵向量對(duì)(query-key pair)來(lái)計(jì)算每一個(gè)關(guān)鍵向量對(duì)應(yīng)的注意力權(quán)重，注意力權(quán)重最終作用于值向量(values)上得到輸出向量。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提出了一種基于自注意力機(jī)制融合上下文信息的向量確定方法及裝置。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于自注意力機(jī)制融合上下文信息的向量確定方法，包括：確定特征圖中的特征點(diǎn)的關(guān)鍵向量、查詢(xún)向量和值向量；以預(yù)設(shè)尺寸的卷積核對(duì)特征圖中的特征點(diǎn)的關(guān)鍵向量進(jìn)行卷積操作，得到融合特征點(diǎn)的上下文信息的一階上下文關(guān)鍵向量；根據(jù)一階上下文關(guān)鍵向量、得到一階上下文關(guān)鍵向量的卷積操作的感受野對(duì)應(yīng)的查詢(xún)向量和值向量，得到二階上下文關(guān)鍵向量；融合一階上下文關(guān)鍵向量和二階上下文關(guān)鍵向量，確定目標(biāo)向量。

在一些實(shí)施例中，上述根據(jù)一階上下文關(guān)鍵向量、得到一階上下文關(guān)鍵向量的卷積操作的感受野對(duì)應(yīng)的查詢(xún)向量和值向量，得到二階上下文關(guān)鍵向量，包括：拼接一階上下文關(guān)鍵向量、目標(biāo)查詢(xún)向量，得到拼接向量，其中，目標(biāo)查詢(xún)向量表征，得到一階上下文關(guān)鍵向量的卷積操作的感受野中處于中心位置的特征點(diǎn)的查詢(xún)向量；根據(jù)拼接向量和得到一階上下文關(guān)鍵向量的卷積操作的感受野中的特征點(diǎn)的值向量，得到二階上下文關(guān)鍵向量。

在一些實(shí)施例中，上述根據(jù)拼接向量和得到一階上下文關(guān)鍵向量的卷積操作的感受野中的特征點(diǎn)的值向量，得到二階上下文關(guān)鍵向量，包括：對(duì)拼接向量進(jìn)行多次卷積操作，得到注意力矩陣；基于感受野中的特征點(diǎn)的值向量與注意力矩陣之間的局部矩陣乘法運(yùn)算，得到二階上下文關(guān)鍵向量。

在一些實(shí)施例中，局部矩陣乘法運(yùn)算中的局部矩陣對(duì)應(yīng)的尺寸與預(yù)設(shè)尺寸相同。

在一些實(shí)施例中，自注意力機(jī)制為多頭部自注意力機(jī)制；以及上述方法還包括：根據(jù)多頭部自注意力機(jī)制中的各頭部對(duì)應(yīng)的目標(biāo)向量，確定多頭部自注意力機(jī)制對(duì)應(yīng)的目標(biāo)向量。

在一些實(shí)施例中，上述方法包括：將神經(jīng)網(wǎng)絡(luò)中卷積核為預(yù)設(shè)尺寸的卷積操作的輸出向量替換為最終確定的目標(biāo)向量，并通過(guò)神經(jīng)網(wǎng)絡(luò)處理視覺(jué)識(shí)別任務(wù)。

第二方面，本申請(qǐng)實(shí)施例提供了一種基于自注意力機(jī)制融合上下文信息的向量確定裝置，包括：第一確定單元，被配置成確定特征圖中的特征點(diǎn)的關(guān)鍵向量、查詢(xún)向量和值向量；卷積單元，被配置成以預(yù)設(shè)尺寸的卷積核對(duì)特征圖中的特征點(diǎn)的關(guān)鍵向量進(jìn)行卷積操作，得到融合特征點(diǎn)的上下文信息的一階上下文關(guān)鍵向量；得到單元，被配置成根據(jù)一階上下文關(guān)鍵向量、得到一階上下文關(guān)鍵向量的卷積操作的感受野對(duì)應(yīng)的查詢(xún)向量和值向量，得到二階上下文關(guān)鍵向量；融合單元，被配置成融合一階上下文關(guān)鍵向量和二階上下文關(guān)鍵向量，確定目標(biāo)向量。