[發明專利]語言模型的預訓練方法、裝置、設備和存儲介質

在審

• 申請號: 202111162206.0
• 申請日: 2021-09-30
• 公開（公告）號: CN113902005A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 施云生;黃正杰;劉佳祥;馮仕堃;黃世維;何徑舟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種語言模型的預訓練方法，包括：

根據搜索詞、搜索結果和歷史行為日志，構建語義圖，并對所述語義圖進行采樣，生成第一文本序列；

對第一文本序列中的第一文本進行掩碼處理，得到第二文本序列，并通過初始模型之中編碼器對所述第二文本序列中第二文本進行編碼，生成所述第二文本的第一語義表征；

將所述第一語義表征輸入至所述初始模型之中圖聚合模塊，獲得所述第二文本的第二語義表征；

對所述第二語義表征進行掩碼預測，獲得所述第二文本中掩蓋詞的預測值，并根據所述掩蓋詞的預測值和真實值，確定損失函數；

根據所述損失函數，對所述初始模型進行預訓練，得到所述語言模型。

2.根據權利要求1所述的方法，其中，所述根據搜索詞、搜索結果和歷史行為日志，構建語義圖，包括：

以所述搜索詞、所述搜索結果為節點，并根據歷史行為日志確定所述節點間的關系，將所述關系確定為所述節點間的邊，以構建所述語義圖。

3.根據權利要求1所述的方法，其中，所述將所述第一語義表征輸入至所述初始模型之中圖聚合模塊，獲得所述第二文本的第二語義表征，包括：

將所述第一語義表征輸入至所述初始模型之中圖聚合模塊進行自注意力計算，得到所述第二文本的第二語義表征；其中，所述第二語義表征至少包含所述第二文本在所述第二文本序列中的圖表征。

4.根據權利要求1所述的方法，其中，所述根據所述損失函數，對所述語言模型進行預訓練，得到所述語言模型，包括：

根據所述損失函數進行反向傳導更新所述編碼器和所述圖聚合模塊的模型參數，得到所述語言模型。

5.一種目標任務場景下神經網絡建模方法，包括：

獲取所述目標任務場景的訓練樣本；

根據所述訓練樣本對所述神經網絡進行訓練，得到適用于所述目標任務的神經網絡模型。

6.根據權利要求5所述的方法，其中，所述訓練樣本包括搜索詞樣本和所述搜索詞樣本的圖結構信息；所述神經網絡包括如權利要求1至4中任一項所述的語言模型。

7.根據權利要求5所述的方法，其中，所述訓練樣本包括搜索詞樣本；所述神經網絡包括如權利要求1至4中任一項所述的語言模型之中的編碼器。

8.一種語言模型的預訓練裝置，包括：

采樣模塊，用于根據搜索詞、搜索結果和歷史行為日志，構建語義圖，并對所述語義圖進行采樣，生成第一文本序列；

第一生成模塊，用于對第一文本序列中的第一文本進行掩碼處理，得到第二文本序列，并通過初始模型之中編碼器對所述第二文本序列中第二文本進行編碼，生成所述第二文本的第一語義表征；

第二生成模塊，用于將所述第一語義表征輸入至所述初始模型之中圖聚合模塊，獲得所述第二文本的第二語義表征；

預測模塊，用于對所述第二語義表征進行掩碼預測，獲得所述第二文本中掩蓋詞的預測值，并根據所述掩蓋詞的預測值和真實值，確定損失函數；

預訓練模塊，用于根據所述損失函數，對所述初始模型進行預訓練，得到所述語言模型。

9.根據權利要求8所述的裝置，其中，所述采樣模塊具體用于：

以所述搜索詞、所述搜索結果為節點，并根據歷史行為日志確定所述節點間的關系，將所述關系確定為所述節點的邊，以構建所述語義圖。

10.根據權利要求8所述的裝置，其中，所述第二生成模塊具體用于：

將所述第一語義表征輸入至所述初始模型之中圖聚合模塊進行自注意力計算，得到所述第二文本的第二語義表征；其中，所述第二語義表征至少包含所述第二文本在所述第二文本序列中的圖表征。

11.根據權利要求8所述的裝置，其中，所述預訓練模塊具體用于：

根據所述損失函數進行反向傳導更新所述編碼器和所述圖聚合模塊的模型參數，得到所述語言模型。