[發明專利]模型訓練方法、計算機設備及計算機可讀存儲介質

在審

• 申請號: 202210179812.1
• 申請日: 2022-02-25
• 公開（公告）號: CN114610878A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 汪誠愚;邱明輝;黃俊
• 申請（專利權）人: 阿里云計算有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

1.一種模型訓練方法，所述方法包括：

獲取預訓練模型；

獲取第一數據集；

利用所述第一數據集對所述預訓練模型進行訓練；其中，所述第一數據集中第一數據為文本，所述第一數據中提供有掩蔽標記以及至少兩個候選項，所述至少兩個候選項的其中一個候選項用于提示所述掩蔽標記對應的單詞，以使所述預訓練模型在所述至少兩個候選項的提示下，在預測所述掩蔽標記對應的單詞時從所述至少兩個候選項中進行選擇；

存儲訓練好的模型，所述訓練好的模型應用于下游任務。

2.根據權利要求1所述的方法，所述訓練好的模型應用于下游任務的小樣本學習場景。

3.根據權利要求1所述的方法，所述方法還包括：

接收用戶發起的模型訓練請求，所述模型訓練請求包括用戶提供的第二數據集，所述第二數據集的數據數量小于預設閾值；

從存儲的模型中選取模型；

利用用戶提供的第二數據集，對選取的模型進行訓練后提供給所述用戶。

4.根據權利要求3所述的方法，所述方法還包括：

展示數據提示信息，所述數據提示信息用于提示用戶：第二數據集中第二數據提供掩蔽標記以及至少兩個候選項，所述至少兩個候選項的其中一個候選項用于提示所述掩蔽標記對應的單詞。

5.根據權利要求1或3所述的方法，所述至少兩個候選項以提問的形式提供，以使模型基于所述提問，在預測所述掩蔽標記對應的單詞時從所述至少兩個候選項中進行選擇。

6.根據權利要求1或3所述的方法，所述至少兩個候選項中其中一個候選項用于提示：所述掩蔽標記對應的單詞的反義詞。

7.根據權利要求1或3所述的方法，所述第一數據和/或第二數據通過如下方式獲得：

獲取無標簽文本，將所述無標簽文本進行分詞處理得到多個單詞，從所述多個單詞中識別出形容詞，對其中一個形容詞替換為掩蔽標記后獲得的。

8.一種模型訓練方法，包括：

獲取待訓練模型；

獲取第一數據集；

利用所述第一數據集對所述待訓練模型進行訓練；其中，所述第一數據集中第一數據為文本，所述第一數據中提供有掩蔽標記以及至少兩個候選項，所述至少兩個候選項的其中一個候選項用于提示所述掩蔽標記對應的單詞，以使所述待訓練模型在所述至少兩個候選項的提示下，在預測所述掩蔽標記對應的單詞時從所述至少兩個候選項中進行選擇。

9.根據權利要求8所述的方法，所述第一數據采用提問的形式提供有所述至少兩個候選項，以使所述待訓練模型基于所述提問，在預測所述掩蔽標記對應的單詞時從所述至少兩個候選項中進行選擇；和/或，

所述第一數據通過如下方式獲得：獲取無標簽文本，將所述無標簽文本進行分詞處理得到多個單詞，從所述多個單詞中識別出形容詞，對其中一個形容詞替換為掩蔽標記后獲得的；和/或，

所述至少兩個候選項中其中一個候選項用于提示：所述掩蔽標記對應的單詞的反義詞。

10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，所述處理器執行所述程序時實現權利要求1至9任一所述的方法。

11.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有若干計算機指令，所述計算機指令被執行時實現權利要求1至9任一項所述方法的步驟。