[發明專利]語言模型訓練及其語言推理方法、裝置及計算機存儲介質

在審

• 申請號: 202110271045.2
• 申請日: 2021-03-10
• 公開（公告）號: CN113011176A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 杜曉薇;郝東
• 申請（專利權）人: 云從科技集團股份有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/295;G06F40/126;G06F40/253;G06F16/35;G06N5/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 李興迪

1.一種語言模型訓練方法，其特征在于，包括：

根據各訓練語料樣本，確定各所述訓練語料樣本對應于各粒度級別的各功能任務標簽標注；

構建語言模型，將各所述訓練語料樣本作為輸入以供所述語言模型進行預測，輸出各所述訓練語料樣本對應于各所述粒度級別的各功能任務預測標注；以及

根據各所述訓練語料樣本對應于各所述粒度級別的各所述功能任務標簽標注與各所述功能任務預測標注，訓練所述語言模型。

2.根據權利要求1所述的語言模型訓練方法，其特征在于，所述方法還包括：

根據所述語言模型支持的文本長度針對各所述訓練語料樣本執行切分處理，獲得各所述訓練語料樣本各自對應的至少一個文本片段，以供所述語言模型針對各所述文本片段執行預測，獲得各所述文本片段對應于各所述粒度級別的各功能任務預測標注。

3.根據權利要求2所述的語言模型訓練方法，其特征在于，所述方法還包括：

基于預設預處理規則針對各所述訓練語料樣本執行預處理；

其中，所述預設預處理規則包括：語料去噪、歸一化中的至少一個。

4.根據權利要求1所述的語言模型訓練方法，其特征在于，所述語言模型包括預測器和判別器；其中，

所述將各所述訓練語料樣本作為輸入以供所述語言模型進行預測，輸出各所述訓練語料樣本對應于各所述粒度級別的各功能任務預測標注具體包括：

將各所述訓練語料樣本作為輸入，將各所述訓練語料樣本對應于各所述粒度級別的各功能任務預測標注作為輸出，訓練所述預測器；

借由所述判別器根據各所述訓練語料樣本對應于各所述粒度級別的各所述功能任務標簽標注與各所述功能任務預測標注，獲得各所述功能任務預測標注的預測損失；

基于所述預測損失重復所述訓練所述預測器的步驟，直至所述預測器訓練完成。

5.根據權利要求4所述的語言模型訓練方法，其特征在于，所述方法還包括：

針對所述訓練語料樣本中執行退化處理，獲得所述訓練語料樣本的退化部分，并提供所述預測器針對所述訓練語料樣本中的所述退化部分執行預測；其中，

所述退化處理包括針對所述訓練語料樣本執行遮掩處理、替換處理、順序顛倒處理、順序打亂處理中的至少一個。

6.根據權利要求4所述的語言模型訓練方法，其特征在于，其中，所述將各所述訓練語料樣本作為輸入以供所述語言模型進行預測，輸出各所述訓練語料樣本對應于各所述粒度級別的各功能任務預測標注包括：

針對每一個所述訓練語料樣本，根據各所述粒度級別針對所述訓練語料樣本執行編碼處理，獲得所述訓練語料樣本對應于各所述粒度級別的各語法單位編碼；

根據各所述語法單位編碼對應的各所述粒度級別，確定各所述粒度級別各自對應的至少一個功能任務，并基于確定的各所述功能任務，針對各所述粒度級別的各所述語法單位編碼分別執行預測，獲得所述訓練語料樣本對應于各所述粒度級別的各所述功能任務預測標注。

7.根據權利要求6所述的語言模型訓練方法，其特征在于，所述粒度級別包括句子級別、詞根級別、字級別、詞級別、span級別中的至少一個。

8.根據權利要求7所述的語言模型訓練方法，其特征在于，所述功能任務包括專有名詞類任務、詞性類任務、語法類任務、語義類任務、指代消解類任務中的至少一個。

9.根據權利要求4所述的語言模型訓練方法，其特征在于，所述預測損失至少包括交叉熵損失或者最大似然估計損失中的一個。

10.根據權利要求9所述的語言模型訓練方法，其特征在于，所述基于所述預測損失重復所述訓練所述預測器的步驟，直至所述預測器訓練完成包括：

若所述預測損失不滿足預設收斂條件，則基于所述預測損失重復所述訓練所述預測器的步驟；若所述預測損失滿足所述預設收斂條件，則所述預測器訓練完成。