[發明專利]文本處理方法、文本特征關系抽取方法及裝置

有效

• 申請號: 202010660758.3
• 申請日: 2020-07-10
• 公開（公告）號: CN111553170B
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 盧睿軒;文瑞;陳曦
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N20/00
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 陳小娜

本申請涉及一種文本處理方法、文本特征關系抽取方法及裝置。文本處理方法包括：根據第一文本樣本集中的第一文本樣本、第一文本樣本的權重訓練目標模型，對目標模型進行模型參數更新，第一文本樣本集中包括噪聲文本樣本；將目標模型的模型參數共享至參照模型；根據第二文本樣本集中的第二文本樣本、第一文本樣本的權重構建參照損失函數，對第一文本樣本進行權重更新；根據第一文本樣本及更新后的權重，對目標模型進行模型參數二次更新；繼續循環進行模型參數更新、權重更新和模型參數二次更新，直至滿足訓練停止條件時結束訓練；目標模型用于對文本提取特征字段及特征字段相應的語義關系。采用本方法能夠提升機器學習模型性能。

技術領域

本申請涉及計算機技術領域，特別是涉及一種文本處理方法、文本特征關系抽取方法及裝置。

背景技術

隨著人工智能的發展，機器學習模型的使用越來越廣泛。通過預先對機器學習模型進行訓練，使得機器學習模型能夠進行數據處理。比如，預先訓練關系抽取模型，使得關系抽取模型能夠識別文本中的實體以及實體之間的語義關系。

但是，訓練所使用的樣本數據大多存在噪聲數據，噪聲數據會引導機器學習模型向錯誤的方向優化，進而影響機器學習模型的性能。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提升機器學習模型性能的文本處理方法、文本特征關系抽取方法及裝置。

一種文本處理方法，該方法包括：

獲取第一文本樣本集、第二文本樣本集、以及模型結構相同的目標模型和參照模型；第一文本樣本集中包括噪聲文本樣本；

采用第一文本樣本集中的第一文本樣本、并根據第一文本樣本的權重訓練目標模型，對目標模型進行模型參數更新；

將目標模型的模型參數共享至參照模型；

采用第二文本樣本集中的第二文本樣本、并根據第一文本樣本的權重構建參照損失函數訓練參照模型，對第一文本樣本進行權重更新；

采用第一文本樣本、并根據第一文本樣本更新后的權重二次訓練目標模型，對目標模型進行模型參數二次更新；

繼續循環進行模型參數更新、權重更新和模型參數二次更新，直至滿足訓練停止條件時結束訓練；目標模型用于對文本提取特征字段及特征字段相應的語義關系。

一種文本處理裝置，裝置包括：

獲取模塊，用于獲取第一文本樣本集、第二文本樣本集、以及模型結構相同的目標模型和參照模型；第一文本樣本集中包括噪聲文本樣本；

訓練模塊，用于采用第一文本樣本集中的第一文本樣本、并根據第一文本樣本的權重訓練目標模型，對目標模型進行模型參數更新；

共享模塊，用于將目標模型的模型參數共享至參照模型；

訓練模塊，還用于采用第二文本樣本集中的第二文本樣本、并根據第一文本樣本的權重構建參照損失函數訓練參照模型，對第一文本樣本進行權重更新；

訓練模塊，還用于采用第一文本樣本、并根據第一文本樣本更新后的權重二次訓練目標模型，對目標模型進行模型參數二次更新；

訓練模塊，還用于繼續循環進行模型參數更新、權重更新和模型參數二次更新，直至滿足訓練停止條件時結束訓練；目標模型用于對文本提取特征字段及特征字段相應的語義關系。

一種計算機設備，包括存儲器和處理器，存儲器存儲有計算機程序，處理器執行計算機程序時實現以下步驟：

獲取第一文本樣本集、第二文本樣本集、以及模型結構相同的目標模型和參照模型；第一文本樣本集中包括噪聲文本樣本；