[發明專利]一種零樣本目標檢測模型及其建立方法

有效

• 申請號: 202010005939.2
• 申請日: 2020-01-03
• 公開（公告）號: CN111461162B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 胡菲;趙世震;高常鑫;桑農
• 申請（專利權）人: 華中科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/25;G06V10/82
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

本發明公開了一種零樣本目標檢測模型及其建立方法，屬于模式識別領域。具體包括：根據可見類RoI視覺特征、高斯隨機噪聲以及可見類的語義嵌入向量，訓練IoUGAN；將不可見類的語義嵌入向量輸入IoUGAN，獲取不可見類的視覺特征；用不可見類的視覺特征訓練零樣本分類器；將零樣本分類器與特征提取器、框回歸器結合，建立零樣本目標檢測模型。IoUGAN用于接收不可見類的語義嵌入向量，生成不可見類的視覺特征訓練零樣本分類器；IoUGAN包括CFU、FFU和BFU；本發明獲取的零樣本目標檢測模型根據輸入的不可見類的測試樣本，可準確識別目標的位置以及類別，并且實用性也較強。

技術領域

本發明屬于模式識別領域，更具體地，涉及一種零樣本目標檢測模型及其建立方法。

背景技術

基于深度學習的目標檢測方法有著優異的精度和實時性能，因此受到了廣泛的關注。然而，檢測器的表現依賴于有完全標注邊界框的大規模檢測數據集，現實世界有大量類別，收集到足夠多的帶標簽數據常常是不切實際的。零樣本目標檢測的目的是在沒有訓練樣本的情況下同時分類和定位新的類別，可避免上述的問題，不需要收集很多的帶標簽數據。

零樣本目標檢測可在兩個空間進行：語義嵌入向量空間和視覺特征空間。現有的方法通常將視覺特征從預測的邊界框映射到語義嵌入向量空間。在推測階段，基于與所有類別嵌入的相似度找出最接近的類別進行預測類標簽。然而，由于兩個空間之間存在異質性，將高維視覺特征映射到低維語義空間往往導致軸樞點問題(hubness?problem)。在視覺特征空間中直接對物體進行分類可以解決軸樞點問題。許多零樣本分類方法已經證明該解決方案在視覺空間中的有效性。然而，視覺特性不僅包含類內差異，還包含對于目標檢測十分關鍵的IoU(Intersection?over?Union)差異，現有零樣本目標檢測方法通常未考慮IoU差異，容易造成零樣本目標檢測方法的檢測結果準確性和實用性較差的問題。

發明內容

針對現有技術的缺陷，本發明提供了一種零樣本目標檢測模型及其建立方法，其目的是提高零樣本目標檢測方法的實用性和準確性。

為實現上述目的，一方面，本發明提供了一種零樣本目標檢測模型的建立方法，包括：

(1)根據可見類RoI(Region?of?Interest)視覺特征、高斯隨機噪聲以及可見類的語義嵌入向量，訓練條件生成模型IoUGAN(IoU-Aware?Generative?AdversarialNetwork)；其中，IoUGAN用于獲取用于訓練零樣本分類器的不可見類的視覺特征；

(2)將不可見類的語義嵌入向量輸入條件生成模型IoUGAN，獲取不可見類的視覺特征；

(3)用不可見類的視覺特征訓練零樣本分類器；

(4)將零樣本分類器與特征提取器、框回歸器結合，建立零樣本目標檢測模型。

優選地，按照產生可見類RoI視覺特征的邊界框與對應標注框IoU大小，將可見類RoI視覺特征分為可見類類別視覺特征、可見類前景特征和可見類背景特征；

條件生成模型IoUGAN包括類別特征生成單元CFU、前景特征生成單元FFU和背景特征生成單元BFU；其中，類別特征生成單元CFU、前景特征生成單元FFU和背景特征生成單元BFU分別用于根據輸入的不可見類的語義嵌入向量，生成不可見類類別特征、前景視覺特征和背景視覺特征，每個單元都包含一個生成器和一個判別器，并使用WGAN(WassersteinGenerative?Adversarial?Network)作為基本結構；

在訓練條件生成模型IoUGAN的階段，可見類類別視覺特征作為類別特征生成單元CFU的輸入；可見類前景視覺特征作為前景特征生成單元FFU的輸入；可見類背景視覺特征作為背景特征生成單元BFU的輸入。

優選地，高斯隨機噪聲包括第一高斯隨機噪聲、第二高斯隨機噪聲和第三高斯隨機噪聲，步驟(1)具體包括：