[發明專利]基于語義特征一致性監督金字塔網絡的目標檢測方法

有效

• 申請號: 202011458846.1
• 申請日: 2020-12-11
• 公開（公告）號: CN112529005B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 何立火;柯俊杰;甘海林;韓博;高新波;唐杰浩;路文;蔡虹霞
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/774;G06V10/82;G06V10/80;G06V10/764;G06V10/25;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;楊春崗

1.一種基于語義特征一致性金字塔網絡的圖像目標檢測方法，其特征在于包括如下步驟：

(1)獲取訓練樣本集K和測試樣本集V：

獲取目標檢測數據集中的多幅大小為W×H的RGB三通道圖像，并將其中N幅帶有目標類別標簽和目標位置坐標的RGB三通道圖像作為訓練樣本集K＝{k₁,k₂,...,k_n,...,k_N}，將M幅帶有目標類別標簽和目標位置坐標的RGB三通道圖像作為測試樣本集V＝{v₁,v₂,...,v_m,...,v_M}，其中，N≥100000，M≥5000，k_n表示第n個目標類別標簽為目標位置坐標為的訓練樣本，v_m表示第m個目標類別標簽為目標位置坐標為的測試樣本；

(2)構建基于語義特征一致性金字塔網絡P的圖像目標檢測網絡S：

構建包括區域卷積神經網絡RCNN和語義特征一致性金字塔網絡P的圖像目標檢測網絡S，其中RCNN包括順次連結的特征提取網絡、候選區域生成網絡和感興趣區域分類回歸網絡；語義特征一致性監督金字塔網絡P包括級聯的非對稱特征對齊側接網絡F和多尺度語義特征擴充網絡E，F包括多個對稱卷積層F′、多個橫向非對稱卷積層多個縱向非對稱卷積層和多個可變形卷積層多尺度語義特征擴充網絡E包括多個并行排布的自適應平均池化層A，以及與每個自適應平均池化層A級聯的對稱卷積層F″和通道融合層C；語義特征一致性金字塔網絡P加載在特征提取網絡與候選區域生成網絡之間；

(3)對基于語義特征一致性金字塔網絡P的圖像目標檢測網絡S進行迭代訓練：

(3a)初始化迭代次數為t，最大迭代次數為T，T≥20，當前基于語義特征一致性金字塔網絡P的圖像目標檢測網絡為S^t，并令t＝1，S^t＝S；

(3b)將訓練樣本集K作為S^t的輸入進行前向推理，特征提取網絡對每個訓練樣本進行多尺度特征提取，得到多尺度原始特征圖集X＝{x₁,x₂,...,x_n,...,x_N}，其中x_n表示第n個訓練樣本k_n對應的特征圖子集，表示x_n的第j個原始特征圖，J≥4；

(3c)語義特征一致性金字塔網絡P對X中的特征圖子集進行特征融合，得到語義信息一致的融合特征圖Y＝{y₁,y₂,...,y_n,...,y_N}，y_n表示x_n對應語義信息一致的融合特征圖：

其中，為卷積核間并行相加操作，為卷積核頻域相乘操作；

(3d)候選區域生成網絡對每個語義信息一致的融合特征圖y_n進行感興趣區域位置預測，感興趣區域分類回歸網絡對y_n的感興趣區域位置預測結果進行目標分類和位置預測，得到預測結果T＝{t₁,t₂,...,t_n,...,t_N}，其中，t_n表示y_n對應的包括目標類別和位置的預測結果，

(3e)采用反向傳播算法，Log損失函數計算感興趣區域分類回歸網絡分類預測結果與訓練樣本的目標類別標簽為的分類誤差，Smooth L1損失函數計算感興趣區域分類回歸網絡位置預測結果與訓練樣本的目標位置坐標為的回歸誤差，采用隨機梯度下降法降低分類誤差與回歸誤差，對S中卷積核參數ω^t、各全連接層節點之間的參數υ^t進行更新，得到更新后的S^t；

(3f)判斷t＝T是否成立，若是，得到訓練好基于語義特征一致性金字塔網絡P的圖像目標檢測網絡S^*，否則，令t＝t+1，并執行步驟(3b)；

(4)獲取目標檢測識別結果：

將V中的測試樣本作為訓練好語義特征一致性金字塔網絡P的圖像目標檢測網絡S^*的輸入進行目標檢測與識別，得到目標分類與位置的預測結果。