[發明專利]文本標點符號刪除方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011218875.0
• 申請日: 2020-11-04
• 公開（公告）號: CN112633004A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 杜春賽;徐文銘;楊晶生;鄭翔
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G10L15/22;G06N3/04;G06K9/62;G06F16/35;G10L15/26
• 代理公司: 北京植德律師事務所 11780
• 代理人: 唐華東

1.一種文本標點符號刪除方法，包括：

對于待處理文本中的每個字符，基于該字符的語義向量生成該字符的特征向量；

將所述待處理文本中每個字符的特征向量按照該字符在所述待處理文本中的出現順序，依次輸入預先訓練的標點刪除確定模型，得到該字符的標點刪除確定結果，標點刪除確定結果用于標記該字符是否為待刪除標點符號；

將所述待處理文本中標記為待刪除標點符號的字符刪除。

2.根據權利要求1所述的方法，其中，所述待處理文本通過如下方式生成：

獲取待識別語音數據；

對所述待識別語音數據進行語音識別，得到識別文本；

對所述識別文本進行劃分，得到至少一個待處理文本，其中，每個待處理文本的文本長度小于預設文本長度。

3.根據權利要求2所述的方法，其中，所述對所述識別文本進行劃分，得到至少一個待處理文本，包括：

基于所述識別文本的語義進行劃分，得到至少一個待處理文本。

4.根據權利要求1-3中任一項所述的方法，其中，在所述將所述待處理文本中標記為待刪除標點符號的字符刪除之后，所述方法還包括：

呈現刪除字符后的所述待處理文本。

5.根據權利要求4所述的方法，其中，在所述對所述識別文本進行劃分，得到至少一個待處理文本之后，所述方法還包括：

呈現所述待處理文本。

6.根據權利要求1-3中任一項所述的方法，其中，所述基于該字符的語義向量生成該字符的特征向量，包括：

對該字符進行詞嵌入編碼所得到的語義向量確定為該字符的特征向量。

7.根據權利要求1-3中任一項所述的方法，其中，所述基于該字符的語義向量生成該字符的特征向量，包括：

對該字符進行詞嵌入編碼，得到該字符的語義向量；

根據該字符是否屬于預設標點符號集合，確定標點符號特征分量；

用該字符的語義向量和所述標點符號特征分量生成該字符的特征向量。

8.根據權利要求1-3中任一項所述的方法，其中，在對于待處理文本中的每個字符，基于該字符的語義向量生成該字符的特征向量之前，所述方法還包括：

對所述待處理文本進行分詞，得到待處理分詞序列；以及

所述基于該字符的語義向量生成該字符的特征向量，包括：

對該字符進行詞嵌入編碼，得到該字符的語義向量；

將所述待處理分詞序列中與該字符對應的分詞確定為目標分詞；

用該字符的語義向量和以下至少一項生成該字符的特征向量：位置特征分量和詞性特征分量，其中，所述位置特征分量是根據該字符在所述目標分詞中的位置確定的，所述詞性特征分量是根據所述目標分詞的詞性確定的。

9.根據權利要求1-3中任一項所述的方法，其中，在對于待處理文本中的每個字符，基于該字符的語義向量生成該字符的特征向量之前，所述方法還包括：

對所述待處理文本進行分詞，得到待處理分詞序列；以及

所述基于該字符的語義向量生成該字符的特征向量，包括：

對該字符進行詞嵌入編碼，得到該字符的語義向量；

將所述待處理分詞序列中與該字符對應的分詞確定為目標分詞；

根據該字符是否屬于預設標點符號集合，確定標點符號特征分量；

用該字符的語義向量、所述標點符號特征分量和以下至少一項生成該字符的特征向量：位置特征分量和詞性特征分量，其中，所述位置特征分量是根據該字符在所述目標分詞中的位置確定的，所述詞性特征分量是根據所述目標分詞的詞性確定的。

10.根據權利要求1所述的方法，其中，所述標點刪除確定模型包括長短期記憶人工神經網絡和分類器。

11.根據權利要求1所述的方法，其中，所述標點刪除確定模型包括注意力模型、卷積神經網絡、長短期記憶人工神經網絡和分類器。