[發(fā)明專利]一種自監(jiān)督學(xué)習(xí)輔助下的半監(jiān)督學(xué)習(xí)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011597645.X
• 申請(qǐng)日: 2020-12-29
• 公開（公告）號(hào): CN112686305A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 李楠楠;張世雄;龍仕強(qiáng);李革
• 申請(qǐng)（專利權(quán)）人: 深圳龍崗智能視聽研究院
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N20/00
• 代理公司: 北京京萬通知識(shí)產(chǎn)權(quán)代理有限公司 11440
• 代理人: 萬學(xué)堂;王躍交

1.一種自監(jiān)督學(xué)習(xí)輔助下的半監(jiān)督學(xué)習(xí)方法，其特征在于，包括以下步驟：

S1：獲得樣本數(shù)據(jù)：將訓(xùn)練樣本劃分為若干個(gè)批次，每個(gè)批次包括標(biāo)注數(shù)據(jù)或無標(biāo)注數(shù)據(jù)；

S2：隨機(jī)數(shù)據(jù)翻轉(zhuǎn)并與原數(shù)據(jù)進(jìn)行合并：將當(dāng)前批次的數(shù)據(jù)隨機(jī)翻轉(zhuǎn)，再與所述原數(shù)據(jù)進(jìn)行合并，作為當(dāng)前輸入數(shù)據(jù)；

S3：用特征提取網(wǎng)絡(luò)提取所述當(dāng)前輸入數(shù)據(jù)的特征，得到抽象特征；以及

S4：把提取的所述抽象特征送入到圖像類別分類網(wǎng)絡(luò)或者圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)進(jìn)行圖像類別和圖像角度翻轉(zhuǎn)判斷，若輸入數(shù)據(jù)為標(biāo)注數(shù)據(jù)，則將所述抽象特征同時(shí)送入所述圖像類別分類網(wǎng)絡(luò)和所述圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)進(jìn)行圖像類別和圖像角度翻轉(zhuǎn)判斷，若輸入數(shù)據(jù)為無標(biāo)注數(shù)據(jù)，則只將所述抽象特征送入所述圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)，進(jìn)行圖像角度翻轉(zhuǎn)判斷。

2.根據(jù)權(quán)利要求1所述的半監(jiān)督學(xué)習(xí)方法，其特征在于，在步驟S2中，數(shù)據(jù)翻轉(zhuǎn)的角度從集合{90°，180°，270°，0°}中進(jìn)行隨機(jī)選擇。

3.根據(jù)權(quán)利要求1所述的半監(jiān)督學(xué)習(xí)方法，其特征在于，在現(xiàn)有的半監(jiān)督圖像分類模型下加入了自監(jiān)督學(xué)習(xí)損失函數(shù)，使得在模型的訓(xùn)練過程中可以同時(shí)利用標(biāo)注和無標(biāo)注的圖像，其中，所述自監(jiān)督學(xué)習(xí)損失函數(shù)表示為：

Loss＝L_l(D_l，θ_l)+μL_u(D_u，θ_u) (1)

其中μ為兩項(xiàng)損失函數(shù)的調(diào)和系數(shù)，通常取為0.5，

以及其中，L_l(D_l，θ_l)對(duì)應(yīng)于所述圖像類別分類網(wǎng)絡(luò)，θ_l為對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)，僅適用于標(biāo)注數(shù)據(jù)D_l，采用交叉熵?fù)p失函數(shù)，具體如下式(2)所示：

L_l(D_l，θ)＝-∑_ic_ilog(p_i) (2)

其中，c_i為樣本i的類別，p_i是樣本i被分類為類別c_i的概率，

L_u(D_u，θ_u)對(duì)應(yīng)于圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)，θ_u為對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)，適用于標(biāo)注數(shù)據(jù)D_l和無標(biāo)注數(shù)據(jù)D_u，具體如下式(3)所示：

其中，R為選擇角度集合{90，180°，270°，0°}，r為某一種具體的旋轉(zhuǎn)角度，d^r表示對(duì)數(shù)據(jù)d采用r所代表的旋轉(zhuǎn)形式，L采用交差熵?fù)p失函數(shù)。

4.一種自監(jiān)督學(xué)習(xí)輔助下的半監(jiān)督學(xué)習(xí)系統(tǒng)，其特征在于，包括：特征提取網(wǎng)絡(luò)、圖像類別分類網(wǎng)絡(luò)和圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)，其中：

所述特征提取網(wǎng)絡(luò)，用于提取當(dāng)前輸入數(shù)據(jù)的特征，得到抽象特征，其中，將訓(xùn)練樣本劃分為若干個(gè)批次，每個(gè)批次包括標(biāo)注數(shù)據(jù)或無標(biāo)注數(shù)據(jù)，將當(dāng)前批次的數(shù)據(jù)隨機(jī)翻轉(zhuǎn)，再與原數(shù)據(jù)進(jìn)行合并，作為所述當(dāng)前輸入數(shù)據(jù)；以及

所述圖像類別分類網(wǎng)絡(luò)和所述圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)，用于對(duì)提取的所述抽象特征進(jìn)行圖像類別和圖像角度翻轉(zhuǎn)判斷，若輸入數(shù)據(jù)為標(biāo)注數(shù)據(jù)，則將所述抽象特征同時(shí)送入所述圖像類別分類網(wǎng)絡(luò)和所述圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)進(jìn)行圖像類別和圖像角度翻轉(zhuǎn)判斷，若輸入數(shù)據(jù)為無標(biāo)注數(shù)據(jù)，則只將所述抽象特征送入所述圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)，進(jìn)行圖像角度翻轉(zhuǎn)判斷。

5.根據(jù)權(quán)利要求4所述的半監(jiān)督學(xué)習(xí)系統(tǒng)，其特征在于，所述圖像類別分類網(wǎng)絡(luò)包括：

2個(gè)全連接層，每個(gè)所述全連接層包含2048個(gè)神經(jīng)元；以及

1個(gè)圖像分類網(wǎng)絡(luò)softmax輸出層，所述圖像分類網(wǎng)絡(luò)softmax輸出層包含的神經(jīng)元的個(gè)數(shù)為待分類類別的個(gè)數(shù)加1。

6.根據(jù)權(quán)利要求4所述的半監(jiān)督學(xué)習(xí)系統(tǒng)，其特征在于，所述圖像角度翻轉(zhuǎn)分類網(wǎng)絡(luò)包括：

2個(gè)全連接層，每個(gè)所述全連接層包含2048個(gè)神經(jīng)元；以及

1個(gè)角度翻轉(zhuǎn)分類網(wǎng)絡(luò)softmax輸出層，其包含4個(gè)神經(jīng)元，輸出分別對(duì)應(yīng){90°，180°，270°，0°}中的一個(gè)。