[發明專利]一種網絡訓練方法及裝置

在審

• 申請號: 202211515726.X
• 申請日: 2022-11-29
• 公開（公告）號: CN115796131A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 洪煜中
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F40/166
• 分類號: G06F40/166;G06F40/151;G06F16/35;G06F16/33;G06F40/40;G06N3/084;G06F40/30;G06F18/22
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本發明實施例提供了一種網絡訓練方法及裝置，包括：獲取原始文本；對原始文本進行噪聲的添加，得到對應的噪聲文本；將原始文本輸入預先訓練的第一文本編碼器進行文本編碼，得到第一編碼向量；將噪聲文本輸入待訓練的第二文本編碼器進行文本編碼，得到第二編碼向量；通過預設損失函數，根據第一編碼向量和第二編碼向量的相似度得到當前損失；根據當前損失對待訓練的第二文本編碼器進行修正，并返回將噪聲文本輸入待訓練的第二文本編碼器進行文本編碼，得到第二編碼向量步驟繼續訓練，直至滿足預設條件，得到訓練好的第二文本編碼器。本發明實施例中，第二編碼器在對加入了噪聲的文本進行編碼時編碼結果也可以滿足預設要求，提高了編碼器的魯棒性。

技術領域

本申請涉及自然語言處理技術領域，特別是涉及一種網絡訓練方法及裝置。

背景技術

目前，隨著互聯網技術的快速發展，每天有大量的用戶會進行文本的共享，留言的發布等，從而上傳大量的文本文件，而對運營商而言，則需要對用戶上傳的文件進行識別。但在采用文本編碼器對文件進行識別的過程中，要求文件是無噪聲的，如果文件存在噪聲，文本編碼器便無法準確識別文件。

發明內容

本申請實施例的目的在于提供一種網絡訓練方法及裝置，以提高文本編碼器的魯棒性。具體技術方案如下：

在本發明實施的第一方面，首先提供了一種網絡訓練方法，所述方法包括：

獲取原始文本，所述原始文本為無噪聲文本；

對所述原始文本進行噪聲的添加，得到對應的噪聲文本；

將所述原始文本輸入預先訓練的第一文本編碼器進行文本編碼，得到第一編碼向量；將所述噪聲文本輸入待訓練的第二文本編碼器進行文本編碼，得到第二編碼向量；

通過預設損失函數，根據第一編碼向量和第二編碼向量的相似度得到當前損失；

根據所述當前損失對所述待訓練的第二文本編碼器進行修正，并返回所述將所述噪聲文本輸入待訓練的第二文本編碼器進行文本編碼，得到第二編碼向量步驟繼續訓練，直至滿足預設條件，得到訓練好的第二文本編碼器。

在一個可能的實施方式中，所述對所述原始文本進行噪聲的添加，得到對應的噪聲文本，包括：

根據預設噪聲級別對所述原始文本進行拆分，得到拆分后的文本序列；

根據所述預設噪聲級別對所述文本序列進行噪聲添加，得到對應的所述噪聲文本。

在一個可能的實施方式中，所述根據預設噪聲級別對所述原始文本進行拆分，得到拆分后的文本序列，包括：

根據文本字符中的獨立結構對所述原始文本進行拆分，得到拆分后的文本字符序列；

所述根據所述預設噪聲級別對所述文本序列進行噪聲添加，得到對應的所述噪聲文本，包括：

根據所述文本字符中的獨立結構對所述文本字符序列進行噪聲添加，得到對應的所述噪聲文本。

在一個可能的實施方式中，所述根據文本字符中的獨立結構對所述原始文本進行拆分，得到拆分后的文本字符序列，包括：

根據文本字符中的最小結構單元對所述原始文本進行拆分，得到拆分后的文本字符序列；

所述根據所述文本字符中的獨立結構對所述文本字符序列進行噪聲添加，得到對應的所述噪聲文本，包括：

對所述文本字符序列中的最小結構單元進行添加、替換或刪除，得到對應的所述噪聲文本。

在本發明實施的第二方面，還提供了一種文本審核方法，所述方法包括：

接收待審核文本；