[發(fā)明專利]基于自監(jiān)督學(xué)習(xí)的標(biāo)簽比例學(xué)習(xí)模型的訓(xùn)練方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 202010067820.8
• 申請日: 2020-01-20
• 公開（公告）號: CN113139651A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計）人: 劉佳斌;林宙辰
• 申請（專利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會社
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62;G06F16/56;G06F16/58
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 錢大勇

1.一種標(biāo)簽比例學(xué)習(xí)模型的訓(xùn)練方法，所述訓(xùn)練方法包括：

訓(xùn)練數(shù)據(jù)接收步驟，接收用于標(biāo)簽比例學(xué)習(xí)的弱監(jiān)督訓(xùn)練數(shù)據(jù)；

監(jiān)督信息構(gòu)建步驟，基于所述弱監(jiān)督訓(xùn)練數(shù)據(jù)來構(gòu)建監(jiān)督信息；以及

訓(xùn)練步驟，通過基于多任務(wù)構(gòu)建的損失函數(shù)、采用所述弱監(jiān)督訓(xùn)練數(shù)據(jù)和所述監(jiān)督信息來訓(xùn)練所述標(biāo)簽比例學(xué)習(xí)模型，

其中，所述基于多任務(wù)構(gòu)建的損失函數(shù)為對應(yīng)于所述弱監(jiān)督訓(xùn)練數(shù)據(jù)的弱監(jiān)督損失函數(shù)與對應(yīng)于所述監(jiān)督信息的自監(jiān)督損失函數(shù)的加權(quán)和。

2.如權(quán)利要求1所述的訓(xùn)練方法，其中，所述訓(xùn)練步驟還包括：

通過基于第一參數(shù)的特征提取函數(shù)，對所述弱監(jiān)督訓(xùn)練數(shù)據(jù)和所述監(jiān)督信息進(jìn)行特征提取。

3.如權(quán)利要求2所述的訓(xùn)練方法，其中，

基于所述第一參數(shù)、所述弱監(jiān)督訓(xùn)練數(shù)據(jù)和特定于所述弱監(jiān)督訓(xùn)練數(shù)據(jù)的第二參數(shù)來構(gòu)建所述弱監(jiān)督損失函數(shù)；以及

基于所述第一參數(shù)、所述監(jiān)督信息和特定于所述自監(jiān)督訓(xùn)練數(shù)據(jù)的第三參數(shù)來構(gòu)建所述弱監(jiān)督損失函數(shù)。

4.如權(quán)利要求3所述的訓(xùn)練方法，其中，所述訓(xùn)練步驟還包括：

同時更新所述第一參數(shù)、所述第二參數(shù)和所述第三參數(shù)。

5.如權(quán)利要求1所述的訓(xùn)練方法，還包括：

每當(dāng)針對全部弱監(jiān)督訓(xùn)練數(shù)據(jù)完成一次訓(xùn)練時，則對所述監(jiān)督信息進(jìn)行洗牌。

6.如權(quán)利要求1所述的訓(xùn)練方法，其中，所述監(jiān)督信息構(gòu)建步驟包括：

通過去除所述弱監(jiān)督訓(xùn)練數(shù)據(jù)中的比例信息來獲取無監(jiān)督數(shù)據(jù)；以及

基于所述無監(jiān)督數(shù)據(jù)通過自監(jiān)督方式來構(gòu)建所述監(jiān)督信息。

7.如權(quán)利要求6所述的訓(xùn)練方法，其中，所述自監(jiān)督方式之一為矩陣變換。

8.如權(quán)利要求1至權(quán)利要求7中的任一項(xiàng)所述的訓(xùn)練方法，其中，所述弱監(jiān)督損失函數(shù)之一是基于比例的交叉熵?fù)p失函數(shù)。

9.如權(quán)利要求1所述的訓(xùn)練方法，其中，所述基于多任務(wù)構(gòu)建的損失函數(shù)中的權(quán)重用于控制所述弱監(jiān)督損失函數(shù)與所述自監(jiān)督損失函數(shù)的相對重要性。

10.一種用于圖像處理的標(biāo)簽比例學(xué)習(xí)模型的訓(xùn)練方法，所述訓(xùn)練方法包括：

訓(xùn)練圖像集接收步驟，接收用于標(biāo)簽比例學(xué)習(xí)的弱監(jiān)督訓(xùn)練圖像集；

監(jiān)督信息集構(gòu)建步驟，基于所述弱監(jiān)督訓(xùn)練圖像集來構(gòu)建監(jiān)督信息；以及

訓(xùn)練步驟，通過基于多任務(wù)構(gòu)建的損失函數(shù)、采用所述弱監(jiān)督訓(xùn)練圖像集和所述監(jiān)督信息來訓(xùn)練所述標(biāo)簽比例學(xué)習(xí)模型，

其中，所述基于多任務(wù)構(gòu)建的損失函數(shù)為對應(yīng)于所述弱監(jiān)督訓(xùn)練圖像集的弱監(jiān)督損失函數(shù)與對應(yīng)于所述監(jiān)督信息的自監(jiān)督損失函數(shù)的加權(quán)和。

11.如權(quán)利要求10所述的訓(xùn)練方法，其中，所述監(jiān)督信息構(gòu)建步驟包括：

通過去除所述弱監(jiān)督訓(xùn)練圖像集中的比例信息來獲取無監(jiān)督圖像集；以及

基于所述無監(jiān)督圖像集通過自監(jiān)督方式來構(gòu)建所述監(jiān)督信息。

12.如權(quán)利要求11所述的訓(xùn)練方法，其中，所述自監(jiān)督方式之一為旋轉(zhuǎn)法。

13.一種電子設(shè)備，包括：

處理器；以及

存儲器，用于存儲計算機(jī)程序指令；

其中，當(dāng)所述計算機(jī)程序指令由所述處理器加載并運(yùn)行時，所述處理器執(zhí)行如權(quán)利要求1至權(quán)利要求9或權(quán)利要求10至權(quán)利要求12中的任一項(xiàng)所述的訓(xùn)練方法。

14.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序指令，當(dāng)所述計算機(jī)程序指令由所述處理器加載并運(yùn)行時，執(zhí)行如權(quán)利要求1至權(quán)利要求9或權(quán)利要求10至權(quán)利要求12中的任一項(xiàng)所述的訓(xùn)練方法。