[發明專利]模型訓練方法、計算機設備及計算機可讀存儲介質

在審

• 申請號: 202210179812.1
• 申請日: 2022-02-25
• 公開（公告）號: CN114610878A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 汪誠愚;邱明輝;黃俊
• 申請（專利權）人: 阿里云計算有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

本說明書一個或多個實施例提供一種模型訓練方法、計算機設備及計算機可讀存儲介質，所述模型訓練方法包括：獲取待訓練模型；獲取第一數據集；利用所述第一數據集對所述待訓練模型進行訓練；其中，所述第一數據集中第一數據為文本，所述第一數據中提供有掩蔽標記以及至少兩個候選項，所述至少兩個候選項的其中一個候選項用于提示所述掩蔽標記對應的單詞，以使所述待訓練模型在所述至少兩個候選項的提示下，在預測所述掩蔽標記對應的單詞時從所述至少兩個候選項中進行選擇。

技術領域

本說明書實施例涉及機器學習技術領域，尤其涉及模型訓練方法、計算機設備及計算機可讀存儲介質。

背景技術

機器學習平臺能向用戶提供機器學習服務，例如提供從數據上傳、數據預處理、特征工程、模型訓練、模型評估到模型發布的機器學習全流程服務等等。由于不同用戶具有不同的任務需求，為了給用戶提供較好的服務，一些解決方案是部署預訓練模型，基于不同下游任務的目標，對預訓練模型進行微調。然而，傳統的預訓練模型是基于大規模無標簽數據訓練的，模型面臨較大的學習難度，學習過程較長，且在用于具體下游任務時精度表現也較差。

發明內容

為克服相關技術中存在的問題，本說明書實施例提供了模型訓練方法、計算機設備及計算機可讀存儲介質。

根據本說明書實施例的第一方面，提供一種模型訓練方法，所述方法包括：

獲取預訓練模型；

獲取第一數據集；

利用所述第一數據集對所述預訓練模型進行訓練；其中，所述第一數據集中第一數據為文本，所述第一數據中提供有掩蔽標記以及至少兩個候選項，所述至少兩個候選項的其中一個候選項用于提示所述掩蔽標記對應的單詞，以使所述預訓練模型在所述至少兩個候選項的提示下，在預測所述掩蔽標記對應的單詞時從所述至少兩個候選項中進行選擇；

存儲訓練好的模型，所述訓練好的模型應用于下游任務。

根據本說明書實施例的第二方面，提供一種模型訓練方法，包括：

獲取待訓練模型；

獲取第一數據集；

利用所述第一數據集對所述待訓練模型進行訓練；其中，所述第一數據集中第一數據為文本，所述第一數據中提供有掩蔽標記以及至少兩個候選項，所述至少兩個候選項的其中一個候選項用于提示所述掩蔽標記對應的單詞，以使所述待訓練模型在所述至少兩個候選項的提示下，在預測所述掩蔽標記對應的單詞時從所述至少兩個候選項中進行選擇。

根據本說明書實施例的第三方面，提供一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，所述處理器執行所述程序時實現第一方面或第二方面所述的模型訓練方法。

根據本說明書實施例的第四方面，提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有若干計算機指令，所述計算機指令被執行時實現第一方面或第二方面所述的模型訓練方法。

本說明書的實施例提供的技術方案可以包括以下有益效果：

本說明書實施例中，針對第一數據集，設計了第一數據集提供有掩蔽標記以及至少兩個候選項，其中一個候選項用于提示所述掩蔽標記對應的單詞，因此，模型利用第一數據進行訓練時，第一數據可以向模型進行提示，使模型在預測掩蔽位置的單詞時，能夠從候選項中進行選擇，因此為模型在預測單詞時提供了可選范圍，減少了模型的預測難度，為模型提供了更多的語義信息，提升了模型的預測效率和準確度。

應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本說明書。

附圖說明

此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本說明書的實施例，并與說明書一起用于解釋本說明書的原理。