[發明專利]物體識別方法、裝置、電子設備及計算機可讀存儲介質

有效

• 申請號: 202210546400.7
• 申請日: 2022-05-20
• 公開（公告）號: CN114663737B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 李曉川;趙雅倩;李仁剛;郭振華;范寶余
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/77;G06V10/74;G06V10/82;G06V10/26;G06N3/04;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王燕

1.一種物體識別方法，其特征在于，包括：

對獲取到的待處理物體圖像進行裁切、特征提取及編碼處理，得到所述待處理物體圖像對應的編碼矩陣；所述待處理物體圖像包括目標圖像和候選圖像，所述編碼矩陣包含所述待處理物體圖像的各類特征；

將所述目標圖像的編碼矩陣Q和候選圖像的編碼矩陣G并行輸入至兩個特征交互支路，以使所述特征交互支路對所述編碼矩陣Q和所述編碼矩陣G進行自注意力特征提取和跨注意力特征提取，得到所述目標圖像的交互特征矩陣Q和所述候選圖像的交互特征矩陣G；其中，所述特征交互支路對所述編碼矩陣Q和所述編碼矩陣G進行自注意力特征提取和跨注意力特征提取，得到所述目標圖像的交互特征矩陣Q和所述候選圖像的交互特征矩陣G，包括：第一特征交互支路對所述編碼矩陣Q進行自注意力特征提取，并將得到的自注意力特征與所述編碼矩陣Q相加，得到本端中間特征；所述第一特征交互支路將所述本端中間特征發送至第二特征交互支路，同時接收所述第二特征交互支路發送的對端中間特征；所述第一特征交互支路對所述本端中間特征及所述對端中間特征進行跨注意力特征提取，并將得到的跨注意力特征與所述本端中間特征相加，得到目標圖像的交互特征矩陣Q；所述第二特征交互支路采取與所述第一特征交互支路相同的方式對所述編碼矩陣G進行處理，得到所述候選圖像的交互特征矩陣G；

將所述交互特征矩陣Q和所述交互特征矩陣G并行輸入至兩個特征提取支路，以使所述特征提取支路對接收到的交互特征矩陣進行自注意力特征提取，得到所述目標圖像的中間特征和所述候選圖像的中間特征；

將利用所述交互特征矩陣Q和所述交互特征矩陣G生成的初始預測向量及所述目標圖像的中間特征和所述候選圖像的中間特征輸入至預測支路，以使所述預測支路對所述初始預測向量進行自注意力特征提取，并利用得到的中間預測特征和所述目標圖像的中間特征和所述候選圖像的中間特征進行跨注意力特征提取，得到預測向量；

利用由所述預測向量降維得到的預測值判定所述目標圖像和所述候選圖像是否屬于同一物體；

其中，在將利用所述交互特征矩陣Q和所述交互特征矩陣G生成的初始預測向量及所述中間特征輸入至預測支路之前，還包括：

計算所述交互特征矩陣Q和所述交互特征矩陣G之間的余弦相似度，并利用所述余弦相似度生成所述初始預測向量。

2.根據權利要求1所述的物體識別方法，其特征在于，所述對所述本端中間特征及所述對端中間特征進行跨注意力特征提取，包括：

所述特征交互支路對所述本端中間特征及所述對端中間特征采用如下方式進行跨注意力特征提?。?/p>

其中表示初始跨注意力特征，所述表示所述本端中間特征，所述表示所述對端中間特征，所述表示歸一化函數，所述、所述和所述表示預先訓練的權重矩陣，所述表示轉置操作，所述表示所述對端中間特征的維度；

對所述初始跨注意力特征進行Dropout處理及歸一化處理，得到所述跨注意力特征。

3.根據權利要求1所述的物體識別方法，其特征在于，所述特征交互支路具有多層結構，在得到所述交互特征矩陣Q和所述交互特征矩陣G之后，還包括：

判斷是否存在下一層特征交互支路；

若是，則將所述交互特征矩陣Q和所述交互特征矩陣G輸入至所述下一層特征交互支路進行處理；

若否，則進入將所述交互特征矩陣Q和所述交互特征矩陣G并行輸入至兩個特征提取支路的步驟。

4.根據權利要求1所述的物體識別方法，其特征在于，所述對獲取到的待處理物體圖像進行裁切、特征提取及編碼處理，得到所述待處理物體圖像對應的編碼矩陣，包括：

對所述待處理物體圖像進行所述裁切，得到所述待處理物體圖像對應的圖像塊；

利用所述待處理物體圖像和所述圖像塊生成圖像集，并利用所述待處理物體圖像的模態類別對應的神經網絡對所述圖像集進行所述特征提取，得到所述待處理物體圖像對應的特征矩陣；

利用所述模態類別及各所述圖像塊的裁切特征信息對所述特征矩陣進行所述編碼處理，得到所述待處理物體圖像對應的編碼矩陣。