[發(fā)明專利]基于元學(xué)習(xí)和跨階段沙漏的大視場小樣本目標檢測方法

有效

• 申請?zhí)枺?/td>: 202110487663.0
• 申請日: 2021-05-06
• 公開（公告）號: CN113221993B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 李文濤;李良偉;黑永強;李世玉;郇金曉
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于元學(xué)習(xí)和跨階段沙漏的大視場小樣本目標檢測方法，其特征在于，包括如下步驟：

(1)構(gòu)建第一訓(xùn)練樣本集、第二訓(xùn)練樣本集和測試樣本集：

(1a)從大視場圖像數(shù)據(jù)庫中選取包括C個目標類別的M幅尺寸為H×W的圖像T＝{T_m|1≤m≤M}，并對每幅圖像T_m中的目標進行標注，得到T對應(yīng)的標簽集合G＝{G_m|1≤m≤M}，其中，C≥4，M≥200，T_m表示第m幅圖像，G_m表示T_m對應(yīng)的標簽；

(1b)按照先行后列的順序，并以大小為S_H×S_W的滑窗將每幅圖像T_m裁剪成N個圖像塊，得到圖像塊集合T′＝{T′_m|1≤m≤M}和標簽塊集合G′＝{G′_m|1≤m≤M}，其中T′_m表示T_m對應(yīng)的圖像塊子集合，T′_m＝{T′_mn|1≤m≤M,1≤n≤N}，T′_mn表示T′_m中的第n個圖像塊，G′_m表示T′_m對應(yīng)的標簽塊子集，G′_m＝{G′_mn|1≤m≤M,1≤n≤N}，G′_mn表示T′_mn對應(yīng)的標簽，

(1c)篩選出標簽塊集合G′中交并比大于閾值的標簽G′_mn，得到篩選標簽塊集合G″＝{G″_m|1≤m≤M}；

(1d)將圖像塊集合T′中的C₁個目標類別的M₁幅圖像及其對應(yīng)的篩選標簽作為第一訓(xùn)練樣本集，并剩余的C₂個目標類別的M₂幅圖像及其對應(yīng)的篩選標簽中的一半作為第二訓(xùn)練樣本集，另一半作為測試樣本集，其中，M₁≥5×M₂，M₁+M₂＝M，C₁+C₂＝C；

(2)構(gòu)建基于跨階段沙漏結(jié)構(gòu)的一階段目標檢測模型H₁：

構(gòu)建包括級聯(lián)的特征提取器f_extractor、特征解碼器f_decoder和第一類別生成器f_class1的一階段目標檢測模型H₁，其中，f_extractor包括交叉層疊的多個下采樣層和多個跨階段沙漏層；f_decoder包括順次連接的多個上采樣層；f_class1包括3個并行分布的卷積層，第一卷積層的激活函數(shù)為Sigmoid，輸出通道數(shù)與圖像塊集合T′中的目標類別個數(shù)C₁相同，第二卷積層和第三卷積層的激活函數(shù)均為ReLU，輸出通道數(shù)均為2；

(3)對基于跨階段沙漏結(jié)構(gòu)的一階段目標檢測模型H₁進行迭代預(yù)訓(xùn)練：

(3a)初始化迭代次數(shù)為e，最大迭代次數(shù)為E，E≥120，學(xué)習(xí)率為l＝1.25×10^-4，并令e＝1；

(3b)從第一訓(xùn)練樣本集有回放的隨機選取的B個訓(xùn)練樣本，并對每個訓(xùn)練樣本的標簽分別進行熱力圖轉(zhuǎn)化、寬高矩陣轉(zhuǎn)化和偏移矩陣轉(zhuǎn)化，得到帶有熱力圖標簽、寬高矩陣標簽和偏移矩陣標簽的B個標簽轉(zhuǎn)化后的訓(xùn)練樣本，8≤B≤32；

(3c)將B個標簽轉(zhuǎn)化后的訓(xùn)練樣本作為一階段目標檢測模型H₁的輸入，特征提取器f_extractor對每個訓(xùn)練樣本的圖像進行特征提取，特征解碼器f_decoder對所提取每個特征進行解碼，類別生成器f_class1中的第一卷積層對每個解碼結(jié)果進行熱力圖變換，第二卷積層對每個解碼結(jié)果進行寬高矩陣變換，第三卷積層對每個解碼結(jié)果進行偏移矩陣變換，得到B個預(yù)測熱力圖、B個預(yù)測寬高矩陣和B個預(yù)測偏移矩陣；

(3d)采用Focal?Loss損失函數(shù)，并通過B個熱力圖標簽和B個預(yù)測熱力圖計算B個訓(xùn)練樣本的熱力圖損失值L_heatmap，同時采用L1損失函數(shù)，并通過B個寬高矩陣標簽和B個預(yù)測寬高矩陣，以及B個偏移矩陣標簽和B個預(yù)測偏移矩陣，計算B個訓(xùn)練樣本的寬高損失值L_size以及偏移損失值L_off，然后對L_heatmap、L_size和L_off進行加權(quán)求和，得到訓(xùn)練樣本的損失值L；

(3e)采用反向傳播方法，并通過損失值L計算一階段目標檢測模型H₁的權(quán)重參數(shù)梯度F，再采用Adam優(yōu)化算法，并通過F和學(xué)習(xí)率l對一階段目標檢測模型H₁的權(quán)重參數(shù)進行更新；

(3f)判斷e＞E是否成立，若是，得到訓(xùn)練好的一階段目標檢測模型H′₁，否則，令e＝e+1，并執(zhí)行步驟(3b)；

(4)構(gòu)建基于跨階段沙漏結(jié)構(gòu)的二階段目標檢測模型H₂：

構(gòu)建包括訓(xùn)練好的一階段目標檢測模型H′₁中的特征提取器f′_extractor和特征解碼器f′_decoder，以及第二類別生成器f_class2的基于跨階段沙漏結(jié)構(gòu)的二階段目標檢測模型H₂，f′_extractor、f′_decoder和f_class2依次級聯(lián)；

(5)基于元學(xué)習(xí)的方法對基于跨階段沙漏結(jié)構(gòu)的二階段目標檢測模型H₂進行迭代訓(xùn)練：

(5a)初始化迭代次數(shù)為a，最大迭代次數(shù)為A，A≥2000，元學(xué)習(xí)率為r₁＝1.25×10^-4，并令a＝1；

(5b)初始化元學(xué)習(xí)的子任務(wù)迭代次數(shù)為v，元學(xué)習(xí)的最大迭代子任務(wù)數(shù)V，總?cè)蝿?wù)損失為L_V，并令v＝1，L_V＝0，其中，2≤V≤10；

(5c)從第二訓(xùn)練樣本集中隨機選取包括c個目標類別的k個訓(xùn)練樣本，并對每個訓(xùn)練樣本的標簽分別進行熱力圖轉(zhuǎn)化、寬高矩陣轉(zhuǎn)化和偏移矩陣轉(zhuǎn)化，得到每個訓(xùn)練樣本帶有熱力圖標簽、寬高矩陣標簽和偏移矩陣標簽的標簽轉(zhuǎn)化后的c×k訓(xùn)練樣本，然后從c×k訓(xùn)練樣本隨機選取c×k_spt個作為支持集，選取c×k_qry個訓(xùn)練樣本作為查詢集，其中，1≤c≤C₂，k≥15，1≤k_spt≤5，5≤k_qry≤10；

(5d)將支持集作為二階段目標檢測模型H₂的輸入，特征提取器f′_extractor對每個圖像塊進行特征提取，特征解碼器f′_decoder對所提取每個特征進行解碼，類別生成器f_class2中的第一卷積層對每個解碼結(jié)果進行熱力圖變換，第二卷積層對每個解碼結(jié)果進行寬高矩陣變換，第三卷積層對每個解碼結(jié)果進行偏移矩陣變換，得到c×k_spt個預(yù)測熱力圖、c×k_spt個預(yù)測寬高矩陣和c×k_spt個預(yù)測偏移矩陣；

(5e)采用Focal?Loss損失函數(shù)，并通過c×k_spt個預(yù)測熱力圖及其對應(yīng)的標簽計算支持集的熱力圖損失值L′_heatmap，同時采用L1損失函數(shù)，并通過c×k_spt個預(yù)測寬高矩陣及其對應(yīng)的標簽，以及c×k_spt個預(yù)測偏移矩陣及其對應(yīng)的標簽，計算支持集的寬高損失值L′_size以及偏移損失值L′_off，然后對L′_heatmap、L′_size和L′_off進行加權(quán)求和，得到支持集的損失值L′；

(5f)采用反向傳播方法，并通過支持集的損失值L′計算二階段目標檢測模型H₂的權(quán)重參數(shù)梯度F′，再采用Adam優(yōu)化算法，并通過F′和學(xué)習(xí)率r₂＝3×10^-4對二階段目標檢測模型H₂權(quán)重參數(shù)進行更新，得到權(quán)重參數(shù)更新后的二階段目標檢測模型

(5g)將查詢集作為權(quán)重參數(shù)更新后的二階段目標檢測模型的輸入，中的特征提取器對每個圖像塊進行特征提取，特征解碼器對所提取每個特征進行解碼，類別生成器中的第一卷積層對每個解碼結(jié)果進行熱力圖變換，第二卷積層對每個解碼結(jié)果進行寬高矩陣變換，第三卷積層對每個解碼結(jié)果進行偏移矩陣變換，得到c×k_qry個預(yù)測熱力圖、c×k_qry個預(yù)測寬高矩陣和c×k_qry個預(yù)測偏移矩陣；

(5h)采用Focal?Loss損失函數(shù)，并通過c×k_qry個預(yù)測熱力圖及其對應(yīng)的標簽計算查詢集的熱力圖損失值L″_heatmap，同時采用L1損失函數(shù)，并通過c×k_qry個預(yù)測寬高矩陣及其對應(yīng)的標簽，以及c×k_qry個預(yù)測偏移矩陣及其對應(yīng)的標簽，計算查詢集的寬高損失值L″_size以及偏移損失值L″_off，然后對L″_heatmap、L″_size和L″_off進行加權(quán)求和，得到查詢集的損失值L″；

(5i)令令L_V＝L_V+L″，并判斷v＞V是否成立，若是，執(zhí)行步驟(5j)，否則，令v＝v+1，并執(zhí)行步驟(5c)；

(5j)采用反向傳播方法，并通過平均任務(wù)損失L′_V＝L_V/V計算二階段目標檢測模型H₂的權(quán)重參數(shù)梯度F″，再采用Adam優(yōu)化算法，并通過F″和元學(xué)習(xí)率r₁對二階段模型參數(shù)H₂進行更新；

(5k)判斷a＞A是否成立，若是，得到訓(xùn)練好的二階段目標檢測模型H′₂，否則，令a＝a+1，并執(zhí)行步驟(5b)；

(6)獲取目標檢測結(jié)果：

(6a)將測試樣本集作為訓(xùn)練好的二階段目標檢測模型H′₂的輸入進行前向傳播，得到個預(yù)測熱力圖、預(yù)測寬高矩陣以及預(yù)測偏移矩陣；

(6b)通過所提取的每個測試樣本的預(yù)測熱力圖、預(yù)測寬高矩陣以及預(yù)測偏移矩陣的目標檢測信息，計算每個目標檢測框的位置，得到個目標檢測結(jié)果。