[發明專利]自然語言處理方法及其模型的獲取方法、裝置、存儲介質

在審

• 申請號: 202011583809.3
• 申請日: 2020-12-28
• 公開（公告）號: CN113515943A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 秦禹嘉;林衍凱;高信龍一;劉知遠;李鵬;周杰
• 申請（專利權）人: 清華大學;騰訊科技（深圳）有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06F16/33;G06F16/332;G06F40/58;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 鄭曉玉

本申請公開了一種自然語言處理方法及其模型的獲取方法、裝置、存儲介質，涉及人工智能技術領域。其中，該方法可以將獲取到的目標文本輸入至目標自然語言處理模型，以得到自然語言的處理結果。由于該目標自然語言處理模型是基于基礎處理模型的實體預測損失值及實體關系預測損失值對基礎處理模型更新得到的，因此該目標自然語言處理模型不僅能夠較好的了解實體本身，而且能夠較好的了解不同實體之間的復雜交互關系，進而采用該目標自然語言處理模型對自然語言處理的結果準確率更高，可靠性更好。

技術領域

本申請涉及人工智能技術領域，特別涉及一種自然語言處理方法及其模型的獲取方法、裝置、存儲介質。

背景技術

自然語言處理(nature language processing，NLP)是人工智能(artificialintelligence，AI)技術領域中的一個重要研究方向，自然語言是指包括實體的科學語言，自然語言處理可以包括識別實體和抽取兩個實體之間的關系等。

目前，一般采用如基于變換器的雙向編碼表征(bidirectional encoder representation from transformers，BERT)處理模型對自然語言進行處理。但是，目前的處理模型在進行自然語言處理時僅關注實體本身，而忽略了一個文檔中各個實體之間的復雜交互，如此導致處理準確率較低，可靠性較差。

發明內容

本申請實施例提供了一種自然語言處理方法及其模型的獲取方法、裝置、存儲介質，可以解決相關技術中自然語言處理準確率較低，可靠性較差的問題。

所述技術方案如下：

一方面，提供了一種自然語言處理方法，所述方法包括：

獲取目標文本，所述目標文本包括至少一個實體；

獲取目標自然語言處理模型，所述目標自然語言處理模型為基于基礎處理模型的實體預測損失值和實體關系預測損失值對所述基礎處理模型進行更新得到的模型，所述實體預測損失值基于所述基礎處理模型預測的各個實體的相似度確定，所述實體關系預測損失值基于所述基礎處理模型預測的各個實體對的關系相似度確定，其中，每個所述實體對包括兩個實體；

將所述目標文本輸入所述目標自然語言處理模型，得到所述目標自然語言處理模型輸出的處理結果。

另一方面，提供了一種自然語言處理模型的獲取方法，所述方法包括：

獲取多個第一訓練樣本和多個第二訓練樣本，每個所述第一訓練樣本包括一個實體對，每個所述第二訓練樣本包括兩個實體對，所述實體對包括兩個實體；

將所述多個第一訓練樣本輸入至基礎處理模型，得到所述基礎處理模型的實體預測損失值，所述實體預測損失值基于所述基礎處理模型預測的各個所述第一訓練樣本中兩個實體的相似度確定；

將所述多個第二訓練樣本輸入至所述基礎處理模型，得到所述基礎處理模型的實體關系預測損失值，所述實體關系預測損失值基于所述基礎處理模型預測的各個所述第二訓練樣本中兩個實體對的關系相似度確定；

基于所述實體預測損失值和所述實體關系預測損失值，更新所述基礎處理模型的參數，得到目標自然語言處理模型。

又一方面，提供了一種自然語言處理裝置，所述裝置包括：

文本獲取模塊，用于獲取目標文本，所述目標文本包括至少一個實體；

模型獲取模塊，用于獲取目標自然語言處理模型，所述目標自然語言處理模型為基于基礎處理模型的實體預測損失值和實體關系預測損失值對所述基礎處理模型進行更新得到的模型，所述實體預測損失值基于所述基礎處理模型預測的各個實體的相似度確定，所述實體關系預測損失值基于所述基礎處理模型預測的各個實體對的關系相似度確定，其中，每個所述實體對包括兩個實體；