[發明專利]一種基于全局特征感知的目標檢測方法及系統

有效

• 申請號: 202110954164.8
• 申請日: 2021-08-19
• 公開（公告）號: CN113673420B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 張新鈺;王力;李駿;曾維佳;劉偉;楊磊
• 申請（專利權）人: 清華大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/26;G06V10/80;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張建綱

1.一種基于全局特征感知的目標檢測方法，所述方法包括：

實時獲取相機采集的RGB圖像，對該圖像進行切割，獲取原始監控圖像；

將原始監控圖像輸入訓練好的全局感知特征提取器，輸出檢測結果；

所述全局感知特征提取器包括：圖像切分模塊、Transfor mer編碼器、上采樣和通道壓縮模塊、特征重標定模塊和分類網絡；

所述圖像切分模塊，用于對待檢測的圖像進行切分，形成若干個固定大小的圖像塊，并將位置嵌入添加到圖像塊中，輸出線性嵌入序列；

所述Transformer編碼器，用于利用自注意力機制對線性嵌入序列進行處理，提取整張圖像的特征圖；

所述上采樣和通道壓縮模塊，用于擴大整張圖像的特征圖的分辨率，并進行通道壓縮；

所述特征重標定模塊，用于將上采樣和通道壓縮模塊輸出的特征圖與待檢測圖像進行拼接，利用注意力機制對拼接特征的通道進行權重分配，再將加權后的特征圖送入分類網絡中；

所述分類網絡：用于對加權后的特征圖進行目標檢測，輸出檢測結果。

2.根據權利要求1所述的基于全局特征感知的目標檢測方法，其特征在于，所述圖像切分模塊的具體實現過程為：

將原始監控圖像切分為圖像塊p_i，(H,W)表示原始監控圖像的分辨率，C為圖像的通道數，其中S²表示圖像塊大小，N表示圖像塊的數量并且將圖像塊p_i鋪展成一維向量后使用全連接層FC(·)對該圖像塊進行“詞嵌入”操作，“詞嵌入”向量Emb(i)為：

Emb(i)＝FC(Flatten(p_i))+Lp_i

其中，Flatten(p_i)為將圖像塊p_i鋪展成一維向量；Lp_i為一個可學習的變量，以表征圖像塊的位置編碼信息；

將線性嵌入序列[Emb(0)，Emb(1)，…,Emb(N)]輸出至Transfor mer編碼器。

3.根據權利要求2所述的基于全局特征感知的目標檢測方法，其特征在于，所述Transfor mer編碼器由L個塊堆疊而成，每個塊均包含第一層歸一化單元、多頭自注意力模塊、第一加法單元、第二層歸一化單元、多層感知機和第二加法單元；

對于第l個塊，其輸入向量為y_l-1，其中，第一個塊的輸入向量為y₀＝[Emb(0)，Emb(1)，…，Emb(N)]；上一個塊的輸出為下一個塊的輸入；

第一層歸一化單元對輸入向量y_l-1進行層歸一化處理得到向量X＝LN(y_l-1)；

多頭自注意力模塊包括M個單頭，第m個單頭的自注意機制的輸出SA_m為：

其中，和均代表線性轉換矩陣，代表第m個單頭的矩陣的維度；

將M個單頭的自注意機制的輸出拼接起來，通過乘一個線性變換矩陣W^O得到多頭自注意力模塊的輸出MHA(X)：

MHA(X)＝Concat[SA₁,…,SA_M]W^o

第一加法單元，用于將多頭自注意力模塊的輸出與輸入向量進行相加，結果為y′_l：

y′_l＝MHA(X)+y_l-1

第二層歸一化單元，用于對y′_l進行層歸一化處理得到向量LN(y′_l)；

多層感知機，用于對向量LN(y′_l)進行處理，輸出處理結果：MLP(LN(y′_l))

第二加法單元，用于將多層感知機的輸出與y′_l進行相加：

y_l＝MLP(LN(y′_l))+y′_l

則第l個塊的輸出為y_l，第L個塊的輸出y_L為Transfor mer編碼器的輸出。