[發明專利]文本處理模型的訓練、文本處理方法、裝置、設備和介質

在審

• 申請號: 202111175460.4
• 申請日: 2021-10-09
• 公開（公告）號: CN113919424A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 盧宇翔;黃世維
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/764;G06V10/774;G06F16/35
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 王瑞云

1.一種文本處理模型的訓練方法，包括：

獲取訓練樣本，所述訓練樣本包括同一文檔提取的短文本和長文本；

將所述短文本輸入第一文本處理模型，得到第一輸出，以及將所述長文本輸入第二文本處理模型，得到第二輸出；

根據所述第一輸出和所述第二輸出，計算一致性損失，并調整參數共享的所述第一文本處理模型的參數和所述第二文本處理模型的參數。

2.根據權利要求1所述的方法，其中，所述根據所述第一輸出和所述第二輸出，計算一致性損失，包括：

根據所述第一輸出與所述第二輸出，確定所述第一輸出與所述第二輸出之間的差異；

根據所述差異，計算所述一致性損失。

3.根據權利要求2所述的方法，所述根據所述第一輸出與所述第二輸出，確定所述第一輸出與所述第二輸出之間的差異，包括：

計算所述第一輸出的文本向量與所述第二輸出的文本向量之間的差異；和/或

計算所述第一輸出的分類概率與所述第二輸出的分類概率之間的差異。

4.根據權利要求1所述的方法，其中，第一目標模型包括所述第一文本處理模型和所述第二文本處理模型；

所述將所述短文本輸入第一文本處理模型，得到第一輸出，以及將所述長文本輸入第二文本處理模型，得到第二輸出，包括：

將所述短文本輸入所述第一目標模型中第一文本處理模型，得到所述第一文本處理模型輸出的處理結果，確定第一輸出；

將所述長文本輸入所述第一目標模型中第二文本處理模型，得到所述第二文本處理模型輸出的處理結果，確定第二輸出。

5.根據權利要求1所述的方法，其中，第二目標模型包括所述第一文本處理模型、所述第二文本處理模型和問題處理模型，所述訓練樣本包括問題；

所述將所述短文本輸入第一文本處理模型，得到第一輸出，以及將所述長文本輸入第二文本處理模型，得到第二輸出，包括：

將所述短文本輸入所述第二目標模型中第一文本處理模型，得到所述第一文本處理模型輸出的處理結果；

將所述長文本輸入所述第二目標模型中第二文本處理模型，得到所述第二文本處理模型輸出的處理結果；

將所述問題輸入至所述第二目標模型中問題處理模型，得到所述問題處理模型輸出的處理結果；

將所述第一文本處理模型輸出的處理結果和所述問題處理模型輸出的處理結果進行融合，得到第一輸出；

將所述第二文本處理模型輸出的處理結果和所述問題處理模型輸出的處理結果進行融合，得到第二輸出。

6.根據權利要求1所述的方法，還包括：

根據所述第一輸出，與所述短文本對應的目標輸出之間的差異，計算短文本損失；

根據所述第二輸出，與所述長文本對應的目標輸出之間的差異，計算長文本損失；

根據所述短文本損失和所述長文本損失，調整參數共享的所述第一文本處理模型的參數和所述第二文本處理模型的參數。

7.一種文本處理方法，包括：

將待處理文本輸入至文本處理模型中，得到文本處理結果；

其中，所述文本處理模型是根據如權利要求1至6中任一項所述的文本處理模型的訓練方法訓練得到。

8.根據權利要求7所述的方法，還包括：

將與所述待處理文本對應的待處理問題輸入至問題處理模型中，得到問題處理結果；

根據所述問題處理結果和所述文本處理結果，確定所述待處理文本與所述待處理問題的匹配度，以確定所述待處理問題的搜索結果。

9.一種文本處理模型的訓練裝置，包括：

訓練樣本獲取模塊，用于獲取訓練樣本，所述訓練樣本包括同一文檔提取的短文本和長文本；

模型輸出獲取模塊，用于將所述短文本輸入第一文本處理模型，得到第一輸出，以及將所述長文本輸入第二文本處理模型，得到第二輸出；

第一參數調整模塊，用于根據所述第一輸出和所述第二輸出，計算一致性損失，并調整參數共享的所述第一文本處理模型的參數和所述第二文本處理模型的參數。