[發明專利]文本處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202210139990.1
• 申請日: 2022-02-16
• 公開（公告）號: CN114510911A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 弓靜
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/166
• 分類號: G06F40/166;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李文靜

1.一種文本處理方法，其特征在于，所述方法包括：

獲取多個樣本文本和多個參考長度，所述多個參考長度不同；

將對應于同一參考長度的樣本文本構成樣本集合，所述樣本文本對應的參考長度是：不小于所述樣本文本的長度、且在所述多個參考長度中與所述樣本文本的長度最接近的參考長度；

將每個樣本集合中，小于所述樣本集合對應的參考長度的樣本文本填充至所述樣本集合對應的參考長度；

通過多個處理節點中的每個所述處理節點，基于分配到的樣本集合，并行訓練文本處理模型，所述文本處理模型用于對任一文本進行處理。

2.根據權利要求1所述的方法，其特征在于，所述文本處理模型包括每個所述處理節點對應的文本處理子模型，所述通過多個處理節點中的每個所述處理節點，基于分配到的樣本集合，并行訓練文本處理模型，包括：

對于每個所述處理節點，將分配到的樣本集合中的多個樣本文本拼接成文本矩陣，所述文本矩陣的行數等于所述多個樣本文本的數量，所述文本矩陣的列數等于所述樣本集合對應的參考長度，或者所述行數等于所述樣本集合對應的參考長度，所述列數等于所述多個樣本文本的數量；

基于所述文本矩陣，訓練所述處理節點對應的文本處理子模型。

3.根據權利要求2所述的方法，其特征在于，所述基于所述文本矩陣，訓練所述處理節點對應的文本處理子模型之后，所述方法還包括：

對所述文本矩陣中的多個樣本文本的排列順序進行調整，得到調整后的文本矩陣；

基于所述調整后的文本矩陣，繼續訓練所述處理節點對應的文本處理子模型。

4.根據權利要求1所述的方法，其特征在于，所述文本處理模型包括每個所述處理節點對應的文本處理子模型，所述通過多個處理節點中的每個所述處理節點，基于分配到的樣本集合，并行訓練文本處理模型，包括：

對于每個所述處理節點，將分配到的樣本集合中的多個樣本文本中至少一個位置上的原始字符替換為目標字符；

調用所述處理節點對應的文本處理子模型，基于替換后的多個樣本文本進行預測，得到所述至少一個位置上的預測字符；

基于所述至少一個位置上的原始字符和預測字符，訓練所述處理節點對應的文本處理子模型。

5.根據權利要求4所述的方法，其特征在于，所述調用所述處理節點對應的文本處理子模型，基于替換后的多個樣本文本進行預測，得到所述至少一個位置上的預測字符，包括：

調用所述處理節點對應的文本處理子模型，對替換后的多個樣本文本進行特征提取，得到替換后的多個樣本文本中每個位置上的字符對應的字符特征；

在得到的多個字符特征中，獲取所述至少一個位置上的目標字符對應的字符特征；

基于所述至少一個位置上的目標字符對應的字符特征進行預測，得到所述至少一個位置上的預測字符。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述文本處理模型包括每個所述處理節點對應的文本處理子模型，所述通過多個處理節點中的每個所述處理節點，基于分配到的樣本集合，并行訓練文本處理模型，包括：

通過每個所述處理節點，基于分配到的樣本集合，訓練各自對應的文本處理子模型；

在每個所述處理節點得到各自對應的文本處理子模型的第一更新信息的情況下，基于每個所述處理節點得到的第一更新信息，確定全量更新信息；

通過每個所述處理節點，基于所述全量更新信息，更新各自對應的文本處理子模型。

7.根據權利要求6所述的方法，其特征在于，所述第一更新信息包括梯度矩陣，所述方法還包括：

對于每個所述處理節點：

通過所述處理節點，基于分配到的樣本集合，確定所述處理節點對應的文本處理子模型的梯度信息，所述梯度信息包括多個維度中的至少一個維度和所述至少一個維度上的梯度值；

為所述多個維度中未對應有梯度值的維度填充梯度值；

基于所述多個維度以及所述多個維度上的梯度值，構建所述梯度矩陣。