[發明專利]基于任務提示的小樣本句型分類方法、系統、設備及介質

在審

• 申請號: 202210384743.8
• 申請日: 2022-04-13
• 公開（公告）號: CN114896391A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 高鷹;張昭光;翁金塔;郭曉語;徐曉峰;嚴基杰;林錦天
• 申請（專利權）人: 廣州大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/211;G06F16/215;G06K9/62
• 代理公司: 廣州高炬知識產權代理有限公司 44376
• 代理人: 孫明科

1.基于任務提示的小樣本句型分類方法，其特征在于，其包括如下步驟：

對數據集進行分類，對分類后的數據集進行收集、清洗和標注，形成句型數據集；

在現有模型的基礎上，對模型進行修改，得到修改后的模型；

利用句型數據集對修改后的模型進行訓練，得到訓練后的模型；

對訓練后的模型進行效果驗證，并將效果最好的模型作為最終模型，利用最終模型對輸入的小樣本句型進行分類。

2.如權利要求1所述的基于任務提示的小樣本句型分類方法，其特征在于，所述對數據集進行分類的步驟，還包括：

按照數據集的類型，將數據集劃分為陳述句、疑問句、感嘆句和祈使句。

3.如權利要求1所述的基于任務提示的小樣本句型分類方法，其特征在于，所述在現有模型的基礎上，對模型進行修改，得到修改后的模型的步驟，還包括：

在模板挖掘訓練模型的基礎上，加入微調模型M₁提取出的logits按照權重融入用于微調分類器的軟標簽數據集，得到修改后的模型。

4.如權利要求3所述的基于任務提示的小樣本句型分類方法，其特征在于，所述在模板挖掘訓練模型的基礎上，加入微調模型M₁提取出的logits按照權重融入用于微調分類器的軟標簽數據集，得到修改后的模型的步驟，還包括：

(1)使用有標簽的數據集D_f微調預訓練語言模型M₁，得到準確率Acc-M₁；

(2)提取訓練集中打亂后的2000條去掉標簽的數據，設為未標注數據集Unlabel數據集D₁，使用M₁對于Unlabel數據集D₁進行標注，在test過程中提取出模型M₁中全連接層的輸出logits-M₁，并且輸入到文件中保存；

(3)根據數據集設計人工模板，選擇通用的模板來執行模板挖掘訓練模型中的Prompt方法；

(4)將句型數據集打亂后按3:2的比例分割為訓練集和測試集，其中訓練集按不同比例分割為：使用Prompt方法對預訓練語言模型進行微調的數據集D_p，和直接對預訓練語言模型進行微調的訓練數據集D_f，按照模板挖掘訓練模型的prompt方法，使用數據集D_p微調出多個預訓練語言模型M₂、M₃、M₄...，并對預訓練語言模型進行訓練，得到訓練好的預訓練語言模型；

(5)利用第(4)步中訓練好的預訓練語言模型重新標注數據，提取多個模型標注數據的多份logits值；

(6)更改PET模型融合多個預訓練語言模型標記軟標簽數據集的步驟，按照權重融合第(5)步中標注出的多份logits值和第(2)步中的logits-M₁，第(5)步中的logits的權重取預訓練語言模型M₂、M₃、M₄...未微調之前使用第(3)步中的模板直接執行prompt方法獲得的準確率值，融合logits-M₁的權重設置為第(1)步中的準確率Acc-M₁，多份logits值和logits-M₁按權重融合得到軟標簽數據集；

(7)使用軟標簽數據集直接微調下游預訓練語言模型分類器C，其中預訓練語言模型選擇和M₁相同的模型，最終得到分類器C用來測試效果。

5.如權利要求4所述的基于任務提示的小樣本句型分類方法，其特征在于，所述利用句型數據集對修改后的模型進行訓練，得到訓練后的模型的步驟，還包括：

通過設置不同的數據集和訓練集的關系，分別對修改后的模型進行訓練，得到訓練后的模型。

6.如權利要求1所述的基于任務提示的小樣本句型分類方法，其特征在于，所述對分類后的數據集進行清洗的步驟，還包括：

使用Python語言對數據進行清洗，去除數據中的enjoy表情、純數字和亂碼。