[發明專利]文本處理方法、裝置及存儲介質

有效

• 申請號: 201911032610.9
• 申請日: 2019-10-28
• 公開（公告）號: CN110750987B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 李快
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F16/35
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉暉銘;張穎玲

1.一種文本處理方法，其特征在于，包括：

獲取待處理文本和所述待處理文本的標簽；

根據所述標簽，采用文本特征提取網絡模型分別對所述待處理文本的第一部分和所述待處理文本的第二部分進行特征提取，對應得到第一詞向量和第二詞向量；

其中，所述文本特征提取網絡模型通過以下步驟訓練得到：將樣本數據的第一部分和所述樣本數據的第二部分分別輸入至BERT網絡模型中，對應得到第三詞向量和第四詞向量；將所述第三詞向量與所述第四詞向量輸入至預設損失模型中，通過所述預設損失模型中的損失函數，確定所述第三詞向量與所述第四詞向量之間的距離；根據所述第三詞向量與所述第四詞向量之間的距離，確定所述樣本數據的第一部分與所述樣本數據的第二部分之間的匹配度，得到損失結果；根據所述損失結果，對所述BERT網絡模型進行修正，得到所述文本特征提取網絡模型；

確定所述第一詞向量和所述第二詞向量之間的距離；

根據所述第一詞向量和所述第二詞向量之間的距離，確定所述待處理文本的第一部分與所述待處理文本的第二部分之間的匹配度。

2.根據權利要求1所述的方法，其特征在于，所述待處理文本的第一部分為所述待處理文本的標題，所述待處理文本的第二部分為所述待處理文本中除所述標題之外的其他部分；

對應地，根據所述標簽，分別對所述待處理文本的標題部分和其他部分進行特征提取，對應得到第一詞向量和第二詞向量；

確定所述第一詞向量和所述第二詞向量之間的距離；

根據所述距離，確定所述標題部分與所述其他部分之間的匹配度。

3.根據權利要求1所述的方法，其特征在于，所述BERT網絡模型包括第一BERT網絡模型和第二BERT網絡模型；所述將樣本數據的第一部分和所述樣本數據的第二部分分別輸入至BERT網絡模型中，對應得到第三詞向量和第四詞向量，包括：

分別將所述樣本數據的第一部分和所述樣本數據的第二部分對應輸入至所述第一BERT網絡模型和所述第二BERT網絡模型中；

通過所述第一BERT網絡模型對所述樣本數據的第一部分進行特征提取，得到所述第三詞向量；

通過所述第二BERT網絡模型對所述樣本數據的第二部分進行特征提取，得到所述第四詞向量。

4.根據權利要求1所述的方法，其特征在于，所述根據所述損失結果，對所述BERT網絡模型進行修正，得到所述文本特征提取網絡模型，包括：

當所述損失結果表明所述第三詞向量和所述第四詞向量之間的距離大于閾值時，確定所述文本特征提取網絡模型對應的文本處理模型給出的處理結果是否正確；

如果所述處理結果正確，不對所述BERT網絡模型進行修正，或者，根據所述距離對所述BERT網絡模型進行微調；

如果所述處理結果不正確，根據所述距離對所述BERT網絡模型進行修正。

5.根據權利要求1所述的方法，其特征在于，所述根據所述損失結果，對所述BERT網絡模型進行修正，得到所述文本特征提取網絡模型，包括：

當所述損失結果表明所述第三詞向量和所述第四詞向量之間的距離小于閾值時，確定所述文本特征提取網絡模型對應的文本處理模型給出的處理結果是否正確；

如果所述處理結果正確，不對所述BERT網絡模型進行修正，或者，根據所述距離對所述BERT網絡模型進行微調；

如果所述處理結果不正確，根據所述距離對所述BERT網絡模型進行修正。

6.根據權利要求1所述的方法，其特征在于，所述樣本數據包括正樣本數據和負樣本數據；所述方法還包括：

確定所述正樣本數據對應的所述匹配度為正樣本匹配度；確定所述負樣本數據對應的所述匹配度為負樣本匹配度；

所述根據所述損失結果，對所述BERT網絡模型進行修正，得到所述文本特征提取網絡模型，包括：

當所述負樣本匹配度大于閾值或者所述正樣本匹配度小于閾值時，根據所述正樣本匹配度和所述負樣本匹配度，對所述BERT網絡模型進行修正。