[發(fā)明專利]文本分類中的小樣本學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 202011021652.5
• 申請日: 2020-09-25
• 公開（公告）號: CN112115265A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 王曉詩;趙曉芳;史驍;胡斌
• 申請（專利權(quán)）人: 中國科學(xué)院計算技術(shù)研究所蘇州智能計算產(chǎn)業(yè)技術(shù)研究院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N20/00
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 陳忠輝

1.文本分類中的小樣本學(xué)習(xí)方法，其特征在于包括步驟：

S1、構(gòu)建訓(xùn)練集，基于元學(xué)習(xí)方法處理原始分類數(shù)據(jù)集，提取元學(xué)習(xí)的數(shù)據(jù)集；

S2、構(gòu)建模型，在MAML框架下嵌套文本分類網(wǎng)絡(luò)，構(gòu)造組合的小樣本學(xué)習(xí)模型；

S3、模型識別，對所構(gòu)造的小樣本學(xué)習(xí)模型進行訓(xùn)練，獲得初始化參數(shù)，而后在新的任務(wù)中進行參數(shù)微調(diào)，利用微調(diào)后的小樣本學(xué)習(xí)模型進行識別與發(fā)現(xiàn)。

2.根據(jù)權(quán)利要求1所述文本分類中的小樣本學(xué)習(xí)方法，其特征在于：步驟S1中提取元學(xué)習(xí)的數(shù)據(jù)集的方法包括步驟：

S11、輸入包含類別數(shù)量N、樣本數(shù)量K、目錄Dir，訓(xùn)練集數(shù)據(jù)量Train_num、測試集數(shù)據(jù)量Test_num的原始分類數(shù)據(jù)集，基于目錄Dir整理原始分類數(shù)據(jù)集的信息；

S12、生成初始的元訓(xùn)練集和初始的元測試集，選擇不相重復(fù)的訓(xùn)練集類別和測試集類別，而后在所選擇的類別結(jié)果中隨機抽取N個類別；

S13、在每個類別中隨機抽取K條樣本，N*K條樣本一起構(gòu)成單個元任務(wù)的子訓(xùn)練集support set，在每個類別中隨機抽取1條樣本，N*1條樣本一起構(gòu)成單個元任務(wù)的子測試集query set，將子測試集和子訓(xùn)練集合并為一個元任務(wù)，逐次加入到元訓(xùn)練集和元測試集中；

S14、循環(huán)執(zhí)行對應(yīng)訓(xùn)練集數(shù)據(jù)量Train_num次的步驟S13，獲得終態(tài)的元訓(xùn)練集，并且循環(huán)執(zhí)行對應(yīng)測試集數(shù)據(jù)量Test_num次的步驟13，獲得終態(tài)的元測試集；

S15、合并終態(tài)的元訓(xùn)練集和元測試集，得到元學(xué)習(xí)的數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述文本分類中的小樣本學(xué)習(xí)方法，其特征在于：步驟S2構(gòu)建模型中所嵌套的文本分類網(wǎng)絡(luò)至少為FastText，TextCNN，TextRNN，Hierarchical AttentionNetwork，Bert中的一種。

4.根據(jù)權(quán)利要求1所述文本分類中的小樣本學(xué)習(xí)方法，其特征在于：步驟S3模型識別中包括：

訓(xùn)練階段，將步驟S1所得的數(shù)據(jù)集分解為元任務(wù)，訓(xùn)練小樣本學(xué)習(xí)模型在類別變化下的泛化能力，捕獲各類別文本的公共部分，學(xué)習(xí)得到初始化參數(shù)；

預(yù)測階段，面對新的類別、新的數(shù)據(jù)集時，保持已有的模型結(jié)構(gòu)并構(gòu)建新的學(xué)習(xí)任務(wù)，利用訓(xùn)練好的小樣本學(xué)習(xí)模型和初始化參數(shù)，通過在新的學(xué)習(xí)任務(wù)中進行參數(shù)微調(diào)，利用微調(diào)后的小樣本學(xué)習(xí)模型進行識別與發(fā)現(xiàn)，完成分類任務(wù)。