[發明專利]一種自監督學習輔助下的半監督學習方法及系統

在審

• 申請號: 202011597645.X
• 申請日: 2020-12-29
• 公開（公告）號: CN112686305A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 李楠楠;張世雄;龍仕強;李革
• 申請（專利權）人: 深圳龍崗智能視聽研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京京萬通知識產權代理有限公司 11440
• 代理人: 萬學堂;王躍交

一種自監督學習輔助下的半監督學習方法，包括以下步驟：將訓練樣本劃分為若干個批次，每個批次包括標注數據或無標注數據；將當前批次的數據隨機翻轉，再與原數據進行合并，作為當前輸入數據；用特征提取網絡提取當前輸入數據的特征，得到抽象特征；以及把提取的抽象特征送入到圖像類別分類網絡或者圖像角度翻轉分類網絡進行圖像類別和圖像角度翻轉判斷，若輸入數據為標注數據，則將抽象特征同時送入圖像類別分類網絡和圖像角度翻轉分類網絡進行圖像類別和圖像角度翻轉判斷，若輸入數據為無標注數據，則只將抽象特征送入圖像角度翻轉分類網絡，進行圖像角度翻轉判斷。本發明方法提升了半監督學習的圖像類別分類性能。

技術領域

本發明涉及到機器學習算法領域，具體地涉及一種自監督學習輔助下的半監督學習方法及系統。

背景技術

當前基于深度學習的方法在計算機視覺相關任務上取得了巨大的成功，例如：人臉識別的準確率已經超過了人類水平。但是深度學習模型往往需要海量的帶標簽的數據，而在實際情況中某些類別樣本(例如，異常行為數據)的收集是很困難的，且對大量的樣本進行標注通常既耗時又費力。相反，我們人類通常只需要極少數的樣本就可以對新的類別進行學習。受人類這種學習模式的啟發，機器學習領域很早就提出了半監督學習的概念，即，在大量的樣本數據中，只有小部分的數據(通常是10％左右)是帶有標簽的，帶標簽的數據和不帶標簽的數據具有相同的數據分布。半監督學習期望能從少量帶標簽數據中學習到訓練數據的粗略模式分布，通過不斷地進行對帶標簽和不帶標簽數據的交替式學習，最后達到可以區分所有樣本(帶/不帶標簽)的訓練結果。近一兩年來，深度學習領域又提出了自監督學習的范式。自監督學習不需要對樣本進行標注，它僅通過一些自定義的前置任務(pretext task)就可以學習到高層次的視覺語意信息。目前自監督學習通常是用來訓練一個初始的模型，這個模型在后續的視覺任務(圖像分類、物體識別等)中可以快速進行知識的遷移，只需要少量的樣本就可以達到訓練的目的。當前，自監督學習和半監督學習通常是面向不同的學習任務而單獨進行訓練的。自監督學習和半監督學習雖然是兩種不同的學習范式，但是從學習目的(刻畫從底層(中層(高層模式分布)來看，兩者是相融的。

發明內容

本發明提供了一種在自監督學習輔助下的半監督學習方法，可以同時利用帶標簽和不帶標簽的數據進行訓練，對于帶標簽的數據，同時使用自監督損失和分類損失進行訓練；對于不帶標簽的數據，僅使用自監督損失進行訓練。通過這種聯合訓練模式可以使得模型在不帶標簽的數據上取得更好的泛化性能，提升自監督學習模型的分類性能。

本發明的技術方案如下：

根據本發明的一個方面，提供了一種自監督學習輔助下的半監督學習方法，包括以下步驟：S1：獲得樣本數據：將訓練樣本劃分為若干個批次，每個批次包括標注數據或無標注數據；S2：隨機數據翻轉并與原數據進行合并：將當前批次的數據隨機翻轉，再與原數據進行合并，作為當前輸入數據；S3：用特征提取網絡提取當前輸入數據的特征，得到抽象特征；以及S4：把提取的抽象特征送入到圖像類別分類網絡或者圖像角度翻轉分類網絡進行圖像類別和圖像角度翻轉判斷，若輸入數據為標注數據，則將抽象特征同時送入圖像類別分類網絡和圖像角度翻轉分類網絡進行圖像類別和圖像角度翻轉判斷，若輸入數據為無標注數據，則只將抽象特征送入圖像角度翻轉分類網絡，進行圖像角度翻轉判斷。

優選的，在上述半監督學習方法中，在步驟S2中，數據翻轉的角度從集合{90°，180°，270°，0°}中進行隨機選擇。

優選的，在上述半監督學習方法中，在現有的半監督圖像分類模型下加入了自監督學習損失函數，使得在模型的訓練過程中可以同時利用標注和無標注的圖像，其中，自監督學習損失函數表示為：

Loss＝L_l(D_l，θ_l)+μL_u(D_u，θ_u) (1)

其中μ為兩項損失函數的調和系數，通常取為0.5，