[發(fā)明專利]一種基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法、裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210084037.1
• 申請(qǐng)日: 2022-01-21
• 公開（公告）號(hào): CN114492624A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 樓財(cái)義;周華吉;駱振興;鄭仕鏈
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第三十六研究所
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N20/00
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝

本發(fā)明公開了一種基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法、裝置和電子設(shè)備。本發(fā)明的方法包括：構(gòu)建元學(xué)習(xí)的訓(xùn)練任務(wù)集，所述訓(xùn)練任務(wù)集包括多個(gè)訓(xùn)練任務(wù)；初始化元網(wǎng)絡(luò)的模型參數(shù)和超參數(shù)；循環(huán)更新元網(wǎng)絡(luò)的模型參數(shù)和超參數(shù)，其中利用多個(gè)訓(xùn)練任務(wù)更新元網(wǎng)絡(luò)的模型參數(shù)，利用更新后的模型參數(shù)和事先構(gòu)建的優(yōu)化網(wǎng)絡(luò)優(yōu)化元網(wǎng)絡(luò)的超參數(shù)；在滿足預(yù)設(shè)條件時(shí)，停止優(yōu)化元網(wǎng)絡(luò)，將停止優(yōu)化時(shí)的模型參數(shù)和超參數(shù)作為元初始參數(shù)，在新的任務(wù)中基于所述元初始參數(shù)對(duì)元網(wǎng)絡(luò)的模型參數(shù)進(jìn)行訓(xùn)練，利用訓(xùn)練好的元網(wǎng)絡(luò)進(jìn)行識(shí)別與發(fā)現(xiàn)。本發(fā)明的技術(shù)方案通過分別優(yōu)化元網(wǎng)絡(luò)的模型參數(shù)和超參數(shù)，可以顯著提高元網(wǎng)絡(luò)的泛化能力。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法、裝置和電子設(shè)備。

背景技術(shù)

機(jī)器學(xué)習(xí)、特別是深度學(xué)習(xí)自興起以來已成功應(yīng)用于計(jì)算機(jī)視覺、自然語(yǔ)言處理、數(shù)據(jù)挖掘等多個(gè)領(lǐng)域。其之所以能在這些領(lǐng)域取得良好的表現(xiàn)的一個(gè)重要因素在于，在這些領(lǐng)域中易于獲取海量標(biāo)記數(shù)據(jù)。然而，由于諸如隱私、安全性或數(shù)據(jù)的高標(biāo)簽成本等一系列因素，許多現(xiàn)實(shí)的應(yīng)用場(chǎng)景(例如在醫(yī)學(xué)，軍事和金融領(lǐng)域)沒有條件獲取足夠數(shù)量的帶標(biāo)簽的訓(xùn)練樣本。因此，如何使得一個(gè)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)系統(tǒng)能夠從非常少量的樣本中高效地學(xué)習(xí)和推廣其認(rèn)知能力，成為許多機(jī)器學(xué)習(xí)或深度學(xué)習(xí)研究人員迫切期待實(shí)現(xiàn)的藍(lán)圖。

其中小樣本學(xué)習(xí)(又稱為few-shot learning，簡(jiǎn)記為FSL)預(yù)計(jì)不會(huì)依賴大規(guī)模的訓(xùn)練樣本，從而避免了某些特定應(yīng)用中數(shù)據(jù)準(zhǔn)備的高昂成本，且可以為一項(xiàng)新出現(xiàn)的、可采集樣本很少的任務(wù)實(shí)現(xiàn)低成本，快速的模型部署。

目前的小樣本學(xué)習(xí)方法，一般是通過對(duì)元網(wǎng)絡(luò)的模型參數(shù)進(jìn)行訓(xùn)練，提高元網(wǎng)絡(luò)的泛化能力。但實(shí)際應(yīng)用中，影響元網(wǎng)絡(luò)的泛化能力的參數(shù)不但包括模型參數(shù)，還包括超參數(shù)。因此，現(xiàn)有技術(shù)中只對(duì)模型參數(shù)進(jìn)行優(yōu)化，只能有限的提高元網(wǎng)絡(luò)的泛化能力的。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供了一種基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法、裝置和電子設(shè)備，用于提高元網(wǎng)絡(luò)的泛化能力。

依據(jù)本發(fā)明的第一方面，提供了一種基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法，包括：

構(gòu)建元學(xué)習(xí)的訓(xùn)練任務(wù)集，所述訓(xùn)練任務(wù)集包括多個(gè)訓(xùn)練任務(wù)；

初始化元網(wǎng)絡(luò)的模型參數(shù)和超參數(shù)；

循環(huán)更新元網(wǎng)絡(luò)的模型參數(shù)和超參數(shù)，其中利用多個(gè)訓(xùn)練任務(wù)更新元網(wǎng)絡(luò)的模型參數(shù)，利用更新后的模型參數(shù)和事先構(gòu)建的優(yōu)化網(wǎng)絡(luò)優(yōu)化元網(wǎng)絡(luò)的超參數(shù)；

在滿足預(yù)設(shè)條件時(shí)，停止優(yōu)化元網(wǎng)絡(luò)，將停止優(yōu)化時(shí)的模型參數(shù)和超參數(shù)作為元初始參數(shù)，在新的任務(wù)中基于所述元初始參數(shù)對(duì)元網(wǎng)絡(luò)的模型參數(shù)進(jìn)行訓(xùn)練，利用訓(xùn)練好的元網(wǎng)絡(luò)進(jìn)行識(shí)別與發(fā)現(xiàn)。

依據(jù)本發(fā)明的第二方面，提供了一種基于元學(xué)習(xí)的小樣本學(xué)習(xí)裝置，包括：

數(shù)據(jù)構(gòu)建單元，用于構(gòu)建元學(xué)習(xí)的訓(xùn)練任務(wù)集，所述訓(xùn)練任務(wù)集包括多個(gè)訓(xùn)練任務(wù)；

初始化單元，用于初始化元網(wǎng)絡(luò)的模型參數(shù)和超參數(shù)；

更新單元，用于循環(huán)更新元網(wǎng)絡(luò)的模型參數(shù)和超參數(shù)，其中利用多個(gè)訓(xùn)練任務(wù)更新元網(wǎng)絡(luò)的模型參數(shù)，利用更新后的模型參數(shù)和事先構(gòu)建的優(yōu)化網(wǎng)絡(luò)優(yōu)化元網(wǎng)絡(luò)的超參數(shù)；

停止更新單元，用于在滿足預(yù)設(shè)條件時(shí)，停止優(yōu)化元網(wǎng)絡(luò)，將停止優(yōu)化時(shí)的模型參數(shù)和超參數(shù)作為元初始參數(shù)，在新的任務(wù)中基于所述元初始參數(shù)對(duì)元網(wǎng)絡(luò)的模型參數(shù)進(jìn)行訓(xùn)練，利用訓(xùn)練好的元網(wǎng)絡(luò)進(jìn)行識(shí)別與發(fā)現(xiàn)。

依據(jù)本發(fā)明的第三方面，提供了一種電子設(shè)備，包括處理器；以及被安排成存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)器，所述可執(zhí)行指令在被執(zhí)行時(shí)使所述處理器執(zhí)行上述基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法。