[發(fā)明專利]語言模型的訓(xùn)練方法、裝置和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202011165544.5
• 申請(qǐng)日: 2020-10-27
• 公開（公告）號(hào): CN112466292B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 張遼;蔣正翔;付曉寅
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

1.一種語言模型的訓(xùn)練方法，包括：

采用語義解析模塊獲取樣本文本對(duì)應(yīng)的文法和所述文法中槽位對(duì)應(yīng)的槽值；

根據(jù)所述文法和所述文法中所述槽位對(duì)應(yīng)的槽值生成所述文法對(duì)應(yīng)的文法圖；

根據(jù)所述樣本文本獲取所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重；

根據(jù)所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重計(jì)算不同階的文法頻次；以及

根據(jù)所述文法頻次進(jìn)行語言模型的訓(xùn)練；

所述根據(jù)所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重計(jì)算不同階的文法頻次，包括：

計(jì)算所述文法圖中相鄰N個(gè)所述槽位的槽值對(duì)應(yīng)的權(quán)重的乘積，得到第一乘積值；

計(jì)算所述第一乘積值與所述文法圖中除所述相鄰N個(gè)所述槽位之外的其他槽位的權(quán)重的乘積，得到第二乘積值；

計(jì)算所述第二乘積值和所述文法圖中所述文法的權(quán)重的乘積，得到第三乘積值；以及

計(jì)算不同文法圖對(duì)應(yīng)的所述第三乘積值的和值，得到N階的文法頻次。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，所述語義解析模塊為自然語言理解語義解析模塊。

3.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，所述根據(jù)所述樣本文本獲取所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重，包括：

將所述樣本文本灌入所述文法圖，并記錄所述文法圖中被激活的路徑；以及

根據(jù)所述文法圖中被激活的路徑獲取所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重。

4.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，所述根據(jù)所述文法和所述文法中所述槽位對(duì)應(yīng)的槽值生成所述文法對(duì)應(yīng)的文法圖，包括：

將所述文法中的所述槽位依次有向連接；以及

根據(jù)所述槽位對(duì)應(yīng)的槽值對(duì)所述槽位進(jìn)行擴(kuò)展，得到所述文法對(duì)應(yīng)的文法圖。

5.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，所述根據(jù)所述文法頻次進(jìn)行語言模型的訓(xùn)練，包括：

對(duì)超過預(yù)設(shè)的頻次閾值的所述文法頻次進(jìn)行降頻處理；以及

根據(jù)降頻處理后的所述文法頻次進(jìn)行語言模型的訓(xùn)練。

6.一種語言模型的訓(xùn)練裝置，包括：

語義解析模塊，用于獲取樣本文本對(duì)應(yīng)的文法和所述文法中槽位對(duì)應(yīng)的槽值；

生成模塊，用于根據(jù)所述文法和所述文法中所述槽位對(duì)應(yīng)的槽值生成所述文法對(duì)應(yīng)的文法圖；

第二獲取模塊，用于根據(jù)所述樣本文本獲取所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重；

計(jì)算模塊，用于根據(jù)所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重計(jì)算不同階的文法頻次；以及

訓(xùn)練模塊，用于根據(jù)所述文法頻次進(jìn)行語言模型的訓(xùn)練；

所述計(jì)算模塊，包括：

第一計(jì)算單元，用于計(jì)算所述文法圖中相鄰N個(gè)所述槽位的槽值對(duì)應(yīng)的權(quán)重的乘積，得到第一乘積值；

第二計(jì)算單元，用于計(jì)算所述第一乘積值與所述文法圖中除所述相鄰N個(gè)所述槽位之外的其他槽位的權(quán)重的乘積，得到第二乘積值；

第三計(jì)算單元，用于計(jì)算所述第二乘積值和所述文法圖中所述文法的權(quán)重的乘積，得到第三乘積值；以及

第四計(jì)算單元，用于計(jì)算不同文法圖對(duì)應(yīng)的所述第三乘積值的和值，得到N階的文法頻次。

7.根據(jù)權(quán)利要求6所述的訓(xùn)練裝置，所述語義解析模塊為自然語言理解語義解析模塊。

8.根據(jù)權(quán)利要求6所述的訓(xùn)練裝置，所述第二獲取模塊，包括：

灌入單元，用于將所述樣本文本灌入所述文法圖，并記錄所述文法圖中被激活的路徑；以及

獲取單元，用于根據(jù)所述文法圖中被激活的路徑獲取所述文法圖中所述文法的權(quán)重、所述槽位的權(quán)重和所述槽值的權(quán)重。

9.根據(jù)權(quán)利要求6所述的訓(xùn)練裝置，所述生成模塊，包括：

連接單元，用于將所述文法中的所述槽位依次有向連接；以及

擴(kuò)展單元，用于根據(jù)所述槽位對(duì)應(yīng)的槽值對(duì)所述槽位進(jìn)行擴(kuò)展，得到所述文法對(duì)應(yīng)的文法圖。