[發(fā)明專利]語言模型的訓練、預測詞的出現概率的方法和裝置

在審

• 申請?zhí)枺?/td>: 201910293401.3
• 申請日: 2019-04-12
• 公開（公告）號: CN111813891A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設計）人: 李亞濱;潘復平
• 申請（專利權）人: 北京地平線機器人技術研發(fā)有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/31
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種語言模型的訓練方法，包括：

從預訓練后的語言模型中獲取多元語法；

將所述多元語法中的第二個歷史詞至目標詞作為給定歷史詞，獲取所述給定歷史詞對應的歷史狀態(tài)；

將所述給定歷史詞對應的歷史狀態(tài)存儲在所述語言模型中的所述多元語法的目標詞的出現概率位置處。

2.根據權利要求1所述的方法，其中，所述獲取所述給定歷史詞對應的歷史狀態(tài)，包括：

獲取所述給定歷史詞對應的第一索引信息；

根據所述第一索引信息，獲得所述給定歷史詞對應的歷史狀態(tài)。

3.根據權利要求2所述的方法，其中，所述獲取所述給定歷史詞對應的第一索引信息，包括：

將所述給定歷史詞中的第一個歷史詞作為當前歷史詞，將初始狀態(tài)作為當前歷史狀態(tài)；

根據所述當前歷史狀態(tài)和所述當前歷史詞，確定當前歷史詞對應的索引信息；

在所述當前歷史詞包含所述給定歷史詞中的最后一個歷史詞的情況下，將當前歷史詞對應的索引信息作為所述第一索引信息，否則，根據所述當前歷史詞對應的索引信息，獲得所述當前歷史詞對應的歷史狀態(tài)，將當前歷史詞對應的歷史狀態(tài)作為當前歷史狀態(tài)，并將所述給定歷史詞中的與所述當前歷史詞相鄰的下一個歷史詞加入所述當前歷史詞中，返回所述根據所述當前歷史狀態(tài)和所述當前歷史詞，確定當前歷史詞對應的索引信息的步驟。

4.根據權利要求1至3中任一項所述的方法，其中，所述將所述給定歷史詞對應的歷史狀態(tài)存儲在所述語言模型中的所述多元語法的目標詞的出現概率位置處，包括：

獲取所述多元語法中的第一個歷史詞至目標詞對應的第二索引信息，其中，所述第二索引信息所指向的語言模型的存儲位置處存儲有所述多元語法的目標詞的出現概率；

將所述給定歷史詞對應的歷史狀態(tài)，存儲在所述第二索引信息所指向的存儲位置處。

5.根據權利要求4所述的方法，其中，所述獲取所述多元語法中的第一個歷史詞至目標詞對應的第二索引信息，包括：

將所述多元語法中的第一個歷史詞作為當前歷史詞，將初始狀態(tài)作為當前歷史狀態(tài)；

根據所述當前歷史狀態(tài)和所述當前歷史詞，確定當前歷史詞對應的索引信息；

在所述當前歷史詞包含目標詞的情況下，將當前歷史詞對應的索引信息作為所述第二索引信息，否則，根據所述當前歷史詞對應的索引信息，獲得所述當前歷史詞對應的歷史狀態(tài)，將當前歷史詞對應的歷史狀態(tài)作為當前歷史狀態(tài)，將所述多元語法中與所述當前歷史詞相鄰的下一個詞加入當前歷史詞中，返回所述根據所述當前歷史狀態(tài)和所述當前歷史詞，確定當前歷史詞對應的索引信息的步驟。

6.一種基于語言模型預測詞的出現概率的方法，包括：

從語言模型中的第一多元語法的目標詞出現概率位置處，獲取所述第一多元語法的目標詞出現概率以及第一多元語法中的第二個歷史詞至目標詞形成的給定歷史詞對應的歷史狀態(tài)；

根據所述給定歷史詞對應的歷史狀態(tài)和第二多元語法的目標詞，從所述語言模型中獲取所述第二多元語法的目標詞出現概率；

其中，所述第一多元語法中的第二個歷史詞至最后一個歷史詞和目標詞，分別是所述第二多元語法中的第一個歷史詞至最后一個歷史詞。

7.根據權利要求6所述的方法，其中，所述根據所述給定歷史詞對應的歷史狀態(tài)和第二多元語法的目標詞，從所述語言模型中獲取所述第二多元語法的目標詞出現概率，包括：

根據所述給定歷史詞對應的歷史狀態(tài)和第二多元語法的目標詞，確定所述第二多元語法的第一個歷史詞至目標詞對應的第三索引信息；

從所述第三索引信息所指向的位置處，獲得所述第二多元語法的目標詞出現概率。