[發(fā)明專利]基于自注意力機(jī)制融合上下文信息的向量確定方法及裝置

在審

• 申請?zhí)枺?/td>: 202110488969.8
• 申請日: 2021-04-29
• 公開（公告）號(hào): CN113177562A
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 李業(yè)豪;姚霆;潘瀅煒;梅濤
• 申請（專利權(quán)）人: 京東數(shù)字科技控股股份有限公司
• 主分類號(hào): G06K9/46
• 分類號(hào): G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種基于自注意力機(jī)制融合上下文信息的向量確定方法，包括：

確定特征圖中的特征點(diǎn)的關(guān)鍵向量、查詢向量和值向量；

以預(yù)設(shè)尺寸的卷積核對(duì)所述特征圖中的特征點(diǎn)的關(guān)鍵向量進(jìn)行卷積操作，得到融合特征點(diǎn)的上下文信息的一階上下文關(guān)鍵向量；

根據(jù)所述一階上下文關(guān)鍵向量、得到所述一階上下文關(guān)鍵向量的卷積操作的感受野對(duì)應(yīng)的查詢向量和值向量，得到二階上下文關(guān)鍵向量；

融合所述一階上下文關(guān)鍵向量和所述二階上下文關(guān)鍵向量，確定目標(biāo)向量。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述一階上下文關(guān)鍵向量、得到所述一階上下文關(guān)鍵向量的卷積操作的感受野對(duì)應(yīng)的查詢向量和值向量，得到二階上下文關(guān)鍵向量，包括：

拼接所述一階上下文關(guān)鍵向量、目標(biāo)查詢向量，得到拼接向量，其中，所述目標(biāo)查詢向量表征，得到所述一階上下文關(guān)鍵向量的卷積操作的感受野中處于中心位置的特征點(diǎn)的查詢向量；

根據(jù)所述拼接向量和得到所述一階上下文關(guān)鍵向量的卷積操作的感受野中的特征點(diǎn)的值向量，得到所述二階上下文關(guān)鍵向量。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述拼接向量和得到所述一階上下文關(guān)鍵向量的卷積操作的感受野中的特征點(diǎn)的值向量，得到所述二階上下文關(guān)鍵向量，包括：

對(duì)所述拼接向量進(jìn)行多次卷積操作，得到注意力矩陣；

基于所述感受野中的特征點(diǎn)的值向量與所述注意力矩陣之間的局部矩陣乘法運(yùn)算，得到所述二階上下文關(guān)鍵向量。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述局部矩陣乘法運(yùn)算中的局部矩陣對(duì)應(yīng)的尺寸與所述預(yù)設(shè)尺寸相同。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述自注意力機(jī)制為多頭部自注意力機(jī)制；以及

還包括：

根據(jù)所述多頭部自注意力機(jī)制中的各頭部對(duì)應(yīng)的目標(biāo)向量，確定所述多頭部自注意力機(jī)制對(duì)應(yīng)的目標(biāo)向量。

6.根據(jù)權(quán)利要求1-5中任一所述的方法，其中，還包括：

將神經(jīng)網(wǎng)絡(luò)中卷積核為所述預(yù)設(shè)尺寸的卷積操作的輸出向量替換為最終確定的目標(biāo)向量，并通過所述神經(jīng)網(wǎng)絡(luò)處理視覺識(shí)別任務(wù)。

7.一種基于自注意力機(jī)制融合上下文信息的向量確定裝置，包括：

第一確定單元，被配置成確定特征圖中的特征點(diǎn)的關(guān)鍵向量、查詢向量和值向量；

卷積單元，被配置成以預(yù)設(shè)尺寸的卷積核對(duì)所述特征圖中的特征點(diǎn)的關(guān)鍵向量進(jìn)行卷積操作，得到融合特征點(diǎn)的上下文信息的一階上下文關(guān)鍵向量；

得到單元，被配置成根據(jù)所述一階上下文關(guān)鍵向量、得到所述一階上下文關(guān)鍵向量的卷積操作的感受野對(duì)應(yīng)的查詢向量和值向量，得到二階上下文關(guān)鍵向量；

融合單元，被配置成融合所述一階上下文關(guān)鍵向量和所述二階上下文關(guān)鍵向量，確定目標(biāo)向量。

8.根據(jù)權(quán)利要求7所述的裝置，其中，所述得到單元，進(jìn)一步被配置成：

拼接所述一階上下文關(guān)鍵向量、目標(biāo)查詢向量，得到拼接向量，其中，所述目標(biāo)查詢向量表征，得到所述一階上下文關(guān)鍵向量的卷積操作的感受野中處于中心位置的特征點(diǎn)的查詢向量；根據(jù)所述拼接向量和得到所述一階上下文關(guān)鍵向量的卷積操作的感受野中的特征點(diǎn)的值向量，得到所述二階上下文關(guān)鍵向量。

9.根據(jù)權(quán)利要求8所述的裝置，其中，所述得到單元，進(jìn)一步被配置成：

對(duì)所述拼接向量進(jìn)行多次卷積操作，得到注意力矩陣；基于所述感受野中的特征點(diǎn)的值向量與所述注意力矩陣之間的局部矩陣乘法運(yùn)算，得到所述二階上下文關(guān)鍵向量。

10.根據(jù)權(quán)利要求9所述的裝置，其中，所述局部矩陣乘法運(yùn)算中的局部矩陣對(duì)應(yīng)的尺寸與所述預(yù)設(shè)尺寸相同。