[發明專利]語言模型的訓練方法、裝置和電子設備

有效

• 申請號: 202011165514.4
• 申請日: 2020-10-27
• 公開（公告）號: CN112466291B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 張遼
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種語言模型的訓練方法，包括：

獲取樣本文本對應的文法和所述文法中每個槽位對應的槽值；

根據所述文法和所述文法中所述槽位對應的槽值生成所述文法對應的文法圖；

根據所述樣本文本獲取所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重；

根據至少一個所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重，計算相鄰N個所述槽位的槽值固定時的文法頻次，得到N階的文法頻次；以及

根據所述文法頻次進行語言模型的訓練；

其中，所述根據至少一個所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重，計算相鄰N個所述槽位的槽值固定時的文法頻次，得到所述N階的文法頻次，包括：

計算所述文法圖中所述相鄰N個所述槽位的槽值對應的權重的乘積，得到第一乘積值；

計算所述第一乘積值與所述文法圖中除所述相鄰N個所述槽位之外的其他槽位的權重的乘積，得到第二乘積值；

計算所述第二乘積值和所述文法圖中所述文法的權重的乘積，得到第三乘積值；以及

計算不同文法圖對應的所述第三乘積值的和值，得到所述N階的文法頻次。

2.根據權利要求1所述的訓練方法，所述獲取樣本文本對應的文法和所述文法中每個槽位對應的槽值，包括：

獲取從所述樣本文本中人工抽取的所述文法和所述文法中每個槽位對應的槽值。

3.根據權利要求1所述的訓練方法，所述根據所述樣本文本獲取所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重，包括：

獲取根據所述樣本文本人工標注的所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重。

4.?根據權利要求1所述的訓練方法，所述根據所述文法和所述文法中所述槽位對應的槽值生成所述文法對應的文法圖，包括：

將所述文法中的所述槽位依次有向連接；以及

根據所述槽位對應的槽值對所述槽位進行擴展，得到所述文法對應的文法圖。

5.?根據權利要求1所述的訓練方法，所述根據所述文法頻次進行語言模型的訓練，包括：

對超過預設的頻次閾值的所述文法頻次進行降頻處理；以及

根據降頻處理后的所述文法頻次進行語言模型的訓練。

6.一種語言模型的訓練裝置，包括：

第一獲取模塊，用于獲取樣本文本對應的文法和所述文法中每個槽位對應的槽值；

生成模塊，用于根據所述文法和所述文法中所述槽位對應的槽值生成所述文法對應的文法圖；

第二獲取模塊，用于根據所述樣本文本獲取所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重；

計算模塊，用于根據至少一個所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重，計算相鄰N個所述槽位的槽值固定時的文法頻次，得到N階的文法頻次；以及

訓練模塊，用于根據所述文法頻次進行語言模型的訓練；

其中，所述計算模塊，包括：

第一計算單元，用于計算所述文法圖中所述相鄰N個所述槽位的槽值對應的權重的乘積，得到第一乘積值；

第二計算單元，用于計算所述第一乘積值與所述文法圖中除所述相鄰N個所述槽位之外的其他槽位的權重的乘積，得到第二乘積值；

第三計算單元，用于計算所述第二乘積值和所述文法圖中所述文法的權重的乘積，得到第三乘積值；以及

第四計算單元，用于計算不同文法圖對應的所述第三乘積值的和值，得到所述N階的文法頻次。

7.根據權利要求6所述的訓練裝置，所述第一獲取模塊，還用于：

獲取從所述樣本文本中人工抽取的所述文法和所述文法中每個槽位對應的槽值。

8.根據權利要求6所述的訓練裝置，所述第二獲取模塊，還用于：

獲取根據所述樣本文本人工標注的所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重。