[發明專利]一種基于自監督知識遷移的小樣本視覺目標識別方法

在審

• 申請號: 202010830474.4
• 申請日: 2020-08-18
• 公開（公告）號: CN112069921A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 宋杰;宋明黎;馮尊磊
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

1.一種基于自監督知識遷移的小樣本視覺目標識別方法，包含如下步驟：

1)收集與任務弱相關、數量較多的無標注輔助數據，以及與任務強相關、數據量較小的有標注目標數據；

2)在數據量較多的無標注輔助數據上通過數據變換構造正樣本對以及負樣本對，并利用對比損失函數作自監督學習，預訓練一個深度模型；

3)利用預訓練模型提取目標數據的特征，并在該特征空間的基礎進行數據降維，學習到一個對目標數據具有較強判別能力的特征子空間；

4)將每個類別少量標注數據在該子空間的特征表達作為該類別的特征原型，利用最近鄰方法對測試數據進行分類預測。

2.根據權利要求1所述的一種基于自監督知識遷移的小樣本視覺目標識別方法，其特征在于：步驟1)所述的輔助數據無任何標注，且數據量充足能夠用以訓練；步驟1)所述的目標數據有標注，但數據量較少，通常每個類僅有幾張標注圖像。

3.根據權利要求1所述的一種基于自監督知識遷移的小樣本視覺目標識別方法，其特征在于：步驟2)所述的深度模型的最終目標是對目標數據進行識別，即輸出一個目標數據圖像中視覺物體的類別。

4.根據權利要求1所述的一種基于自監督知識遷移的小樣本視覺目標識別方法，其特征在于：步驟1)所述的輔助數據用以深度模型對通用知識的學習，該部分知識能夠泛化到多個任務中；所述的目標數據用以引導深度模型對特定目標數據的快速遷移和準確識別。

5.根據權利要求1所述的一種基于自監督知識遷移的小樣本視覺目標識別方法，其特征在于：步驟2)所述的自監督學習指的是模型的學習無需任何人工標注，僅依賴利用數據本身的自洽信息構造偽任務，以幫助深度模型進行預學習。

6.根據權利要求1所述的一種基于自監督知識遷移的小樣本視覺目標識別方法，其特征在于：步驟2)所述的對比損失函數通過下式計算：

其中，i,j表示一個正樣本對，N代表模型訓練過程中一次迭代更新處理的批大小，z代表數據的特征向量，τ代表溫度超參數，函數sim代表特征相似性：sim(u,v)＝u^Tv/‖u‖‖v‖。

7.根據權利要求1所述的一種基于自監督知識遷移的小樣本視覺目標識別方法，其特征在于：步驟3)所述的對于特征的數據降維通過主成分分析PCA、ICA手段進行。

8.根據權利要求1所述的一種基于自監督知識遷移的小樣本視覺目標識別方法，其特征在于：步驟4)所述的每個類別在特征子空間內的特征原型為該類別數據的特征均值，其計算公式為

其中，K為有標注數據中每個類別的標注數據量。