[發(fā)明專利]一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法、系統(tǒng)和計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910766533.3
• 申請日: 2019-08-20
• 公開（公告）號: CN110298415B
• 公開（公告）日: 2019-12-03
• 發(fā)明（設(shè)計）人: 別曉輝;徐盼盼;別偉成;單書暢
• 申請（專利權(quán)）人: 視睿(杭州)信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 33235 杭州華知專利事務(wù)所(普通合伙)
• 代理人: 張德寶<國際申請>=<國際公布>=<進入

1.一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法，其特征在于，所述方法包括：

對歷史標(biāo)注樣本進行聚類，計算得到聚類中心；

接收新的標(biāo)注樣本和新的未標(biāo)注樣本；

根據(jù)半監(jiān)督學(xué)習(xí)模型計算新的標(biāo)注樣本的預(yù)測標(biāo)簽，結(jié)合預(yù)測標(biāo)簽與新的標(biāo)注樣本事先標(biāo)注好的實際標(biāo)簽求得第一損失函數(shù)；

對比分析新的未標(biāo)注樣本和聚類中心的歷史標(biāo)注樣本的一致性，并計算得到第二損失函數(shù)；

結(jié)合第一損失函數(shù)和第二損失函數(shù)，并采用預(yù)設(shè)的半監(jiān)督學(xué)習(xí)算法優(yōu)化半監(jiān)督學(xué)習(xí)模型的參數(shù)。

2.根據(jù)權(quán)利要求1所述的一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法，其特征在于，對比分析新的未標(biāo)注樣本和聚類中心的歷史標(biāo)注樣本的一致性，并計算得到第二損失函數(shù)，具體包括：

選定新的未標(biāo)注樣本和聚類中心的歷史標(biāo)注樣本中的對應(yīng)特征進行比對分析，并基于二者特征的偏差來計算得到第二損失函數(shù)。

3.根據(jù)權(quán)利要求1所述的一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法，其特征在于，在采用預(yù)設(shè)的半監(jiān)督學(xué)習(xí)算法優(yōu)化半監(jiān)督學(xué)習(xí)模型的參數(shù)之后，所述方法還包括：

判斷新的標(biāo)注樣本和新的未標(biāo)注樣本是否遍歷一遍；

若否，則重新進入步驟“接收新的標(biāo)注樣本和新的未標(biāo)注樣本”以進行下一次迭代；若是，則進入步驟“對歷史標(biāo)注樣本進行聚類，計算得到聚類中心” 以進行下一次迭代。

4.根據(jù)權(quán)利要求3所述的一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法，其特征在于，所述聚類中心的計算方式如下：

；

其中，，表示歷史標(biāo)注樣本屬于第k類的概率，表示歷史標(biāo)注樣本的序號，表示歷史標(biāo)注樣本的標(biāo)簽類別序號，為半監(jiān)督學(xué)習(xí)模型中的“student”模型權(quán)重參數(shù)；半監(jiān)督學(xué)習(xí)模型中的“teacher”模型權(quán)重參數(shù)；分類函數(shù)由特征抽取器和最終的線性分類器構(gòu)成，計算公式為。

5.根據(jù)權(quán)利要求4所述的一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法，其特征在于，所述第二損失函數(shù)的計算公式為：

；

其中，為新的未標(biāo)注樣本的集合，僅為標(biāo)志字符，表示集合中的數(shù)據(jù)是未標(biāo)注的，為具體新的未標(biāo)注樣本，為新的未標(biāo)注樣本的序號，K為聚類中心的集合，其是由半監(jiān)督學(xué)習(xí)模型在上一次迭代時計算而來，為截斷函數(shù)，以防止最小值低于0；

當(dāng)權(quán)重趨向于1時，上述計算公式的第一項占據(jù)主導(dǎo)地位，引導(dǎo)樣本的特征靠近聚類中心；反之，上述計算公式的第二項占據(jù)主導(dǎo)地位，強迫樣本的特征遠離聚類中心。

6.根據(jù)權(quán)利要求1所述的一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法，其特征在于，預(yù)設(shè)的半監(jiān)督學(xué)習(xí)算法為指數(shù)移動平均加權(quán)算法。

7. 根據(jù)權(quán)利要求1所述的一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法，其特征在于，所述半監(jiān)督學(xué)習(xí)模型為Mean Teacher模型，其包括“student”模型和“teacher”模型，所述“teacher”模型是通過對一系列的“student”模型進行加權(quán)而來的，所述“student”模型的訓(xùn)練與監(jiān)督學(xué)習(xí)訓(xùn)練方式相一致。

8.一種半監(jiān)督學(xué)習(xí)的訓(xùn)練系統(tǒng)，其特征在于，所述半監(jiān)督學(xué)習(xí)的訓(xùn)練系統(tǒng)包括：存儲器及處理器，所述存儲器中包括一種半監(jiān)督學(xué)習(xí)的訓(xùn)練方法程序，所述半監(jiān)督學(xué)習(xí)的訓(xùn)練方法程序被所述處理器執(zhí)行時實現(xiàn)如下步驟：

對歷史標(biāo)注樣本進行聚類，計算得到聚類中心；

接收新的標(biāo)注樣本和新的未標(biāo)注樣本；

根據(jù)半監(jiān)督學(xué)習(xí)模型計算新的標(biāo)注樣本的預(yù)測標(biāo)簽，結(jié)合預(yù)測標(biāo)簽與新的標(biāo)注樣本事先標(biāo)注好的實際標(biāo)簽求得第一損失函數(shù)；

對比分析新的未標(biāo)注樣本和聚類中心的歷史標(biāo)注樣本的一致性，并計算得到第二損失函數(shù)；

結(jié)合第一損失函數(shù)和第二損失函數(shù)，并采用預(yù)設(shè)的半監(jiān)督學(xué)習(xí)算法優(yōu)化半監(jiān)督學(xué)習(xí)模型的參數(shù)。