[發(fā)明專利]采用目標(biāo)檢測模型檢測圖像的方法、裝置、設(shè)備和介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110470138.8
• 申請日: 2021-04-28
• 公開（公告）號: CN113222916B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計）人: 葉錦;譚嘯;孫昊
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/73;G06V10/44;G06V10/762;G06V10/764;G06V10/82;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 呂朝蕙

1.一種采用目標(biāo)檢測模型檢測圖像的方法，其中，所述目標(biāo)檢測模型包括特征提取層、類別預(yù)測層、特征增強層和全連接層；所述方法包括：

經(jīng)由所述特征提取層獲得待檢測圖像的多個特征信息；

基于所述多個特征信息，經(jīng)由所述類別預(yù)測層確定針對所述待檢測圖像的預(yù)測類別的個數(shù)；

基于所述預(yù)測類別的個數(shù)，經(jīng)由所述特征增強層對所述多個特征信息進行增強，得到增強后特征信息；以及

基于所述增強后特征信息，經(jīng)由所述全連接層確定所述待檢測圖像的目標(biāo)檢測結(jié)果；

其中，所述特征增強層包括聚類層和增強層；經(jīng)由所述特征增強層對所述多個特征信息進行增強包括：

基于所述預(yù)測類別的個數(shù)，經(jīng)由所述聚類層對所述多個特征信息進行聚類，獲得多個聚類組和所述多個聚類組各自的聚類中心；以及

針對所述多個特征信息中的每個特征信息，經(jīng)由所述增強層將所述每個特征信息所屬聚類組的聚類中心與所述每個特征信息進行融合，獲得針對所述每個特征信息的增強后特征信息；

其中，所述多個聚類組的個數(shù)為所述預(yù)測類別的個數(shù)與預(yù)定值之和。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述待檢測圖像為包括多個圖像幀在內(nèi)的視頻幀序列中的任一圖像幀；所述經(jīng)由所述特征提取層獲得針對所述待檢測圖像的多個特征信息包括：

基于所述視頻幀序列中所述任一圖像幀的在前n個圖像幀和所述任一圖像幀，經(jīng)由所述特征提取層獲得所述多個特征信息，

其中，n為自然數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述特征提取層包括編碼特征提取層、第一融合層、圖像特征提取層和編碼解碼層；經(jīng)由所述特征提取層獲得待檢測圖像的多個特征信息包括：

針對所述任一圖像幀和所述n個圖像幀中的每一圖像幀，經(jīng)由所述編碼特征提取層獲得所述每一圖像幀的編碼特征信息，并經(jīng)由所述圖像特征提取層獲得所述每一圖像幀的圖像特征信息；

經(jīng)由所述第一融合層將所述圖像特征信息與所述編碼特征信息進行融合，獲得所述每一圖像幀的融合后信息；以及

將所述任一圖像幀和所述n個圖像幀的融合后信息順序地輸入所述編碼解碼層，獲得所述多個特征信息。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述編碼解碼層包括編碼層、第二融合層和解碼層；獲得所述多個特征信息包括：

將所述任一圖像幀和所述n個圖像幀的融合后信息順序地輸入所述編碼層，獲得編碼后特征序列，所述編碼后特征序列中的特征信息個數(shù)與輸入到所述編碼層的融合后信息的個數(shù)相等；

經(jīng)由所述第二融合層，將所述任一圖像幀和所述n個圖像幀的編碼特征信息與所述編碼后特征序列進行融合，獲得融合后特征序列；以及

將所述融合后特征序列輸入所述解碼層，獲得所述多個特征信息。

5.?根據(jù)權(quán)利要求3所述的方法，其中，經(jīng)由所述編碼特征提取層獲得所述每一圖像幀的編碼特征信息包括：

基于所述每一圖像幀的像素位置信息，獲得所述每一圖像幀的位置編碼信息；以及

基于所述每一圖像幀相對于所述視頻幀序列中起始圖像幀的時間信息，獲得所述每一圖像幀的時間編碼信息。

6.根據(jù)權(quán)利要求3或5所述的方法，其中，所述編碼特征提取層采用學(xué)習(xí)編碼的算法獲得所述每一圖像幀的編碼特征信息。

7.根據(jù)權(quán)利要求3或4所述的方法，其中，所述編碼解碼層采用Transformer模型獲得所述多個特征信息。