[發明專利]詞語識別方法、裝置、電子設備和介質

有效

• 申請號: 201910984534.5
• 申請日: 2019-10-16
• 公開（公告）號: CN110674262B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 胡濱
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/31
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種詞語識別方法，其特征在于，包括：

確定目標詞語的拼音特征；其中，所述拼音特征至少包括單字拼音特征和/或相似全詞拼音特征；

將所述目標詞語的拼音特征與拼音倒排索引進行匹配，確定所述目標詞語是否命中所述拼音倒排索引；

若命中，則確定所述目標詞語屬于規避詞語；

其中，所述確定目標詞語的拼音特征，包括：

將所述目標詞語拆分為單字，并將所述單字轉換為單字拼音，得到所述目標詞語的單字拼音特征；

將所述目標詞語的單字拼音特征與相似拼音倒排索引進行匹配，從所述相似拼音倒排索引中檢索出具有所述單字拼音特征的候選相似單字拼音，構成所述單字拼音特征的相似單字拼音集合；

根據所述目標詞語中各字符的排列順序，從各個單字拼音特征的相似單字拼音合集中，依次取得一個候選相似拼音進行組合，得到所述目標詞語的相似全詞拼音特征；

在所述確定目標詞語的拼音特征之前，還包括：

將預先保存的包含精確詞語的精確詞表加載到內存hash中，通過哈希值表示各個精確詞語，為所述各個精確詞語添加規避標識；

根據哈希函數確定所述目標詞語的哈希值；

根據所述目標詞語的哈希值和精確詞表中的哈希值進行精確匹配，確定相匹配的精確詞語的規避標識；

根據所述規避標識確定所述目標詞語是否屬于規避詞語；

其中，所述拼音倒排索引包括如下至少一項：全詞拼音倒排索引、單字拼音倒排索引和相似拼音倒排索引，用于存儲拼音特征與倒排規避詞語或相似拼音特征之間的映射關系。

2.根據權利要求1所述的方法，其特征在于，所述將所述目標詞語的拼音特征與拼音倒排索引進行匹配，確定所述目標詞語是否命中所述拼音倒排索引，包括：

將所述目標詞語的單字拼音特征與單字拼音倒排索引進行匹配，確定所述單字拼音特征的規避詞語集合；

確定所述規避詞語集合的交集；

根據所述交集確定所述目標詞語是否命中所述單字拼音倒排索引。

3.根據權利要求1所述的方法，其特征在于，所述將所述目標詞語的拼音特征與拼音倒排索引進行匹配，確定所述目標詞語是否命中所述拼音倒排索引，包括：

將所述目標詞語的相似全詞拼音特征與全詞拼音倒排索引進行匹配，確定所述目標詞語是否命中所述全詞拼音倒排索引。

4.根據權利要求1所述的方法，其特征在于，所述確定目標詞語的拼音特征，包括：

將所述目標詞語轉換為拼音，得到所述目標詞語的全詞拼音特征；

相應的，所述將所述目標詞語的拼音特征與拼音倒排索引進行匹配，確定所述目標詞語是否命中所述拼音倒排索引，包括：

將所述目標詞語的全詞拼音特征與全詞拼音倒排索引進行匹配，確定所述目標詞語是否命中所述全詞拼音倒排索引。