[發明專利]一種領域詞典生成方法及裝置

有效

• 申請號: 201910002132.0
• 申請日: 2019-01-02
• 公開（公告）號: CN109783649B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 繆暢宇
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/95
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種領域詞典生成方法，其特征在于，所述方法包括：

獲取目標領域的相關文本；

根據所述相關文本得到字符單元集合，所述字符單元集合中包括多個字符單元，所述字符單元由所述相關文本中的連續字符進行組合而得到；

獲取每個字符單元的互相關度以得到所述目標領域的原始詞典；

將每個字符單元與所述相關文本進行匹配以得到第一逆文本詞頻，所述第一逆文本詞頻為所述字符單元在所述相關文本中的逆文本詞頻；

獲取所述目標領域的無關文本；

將每個字符單元與所述無關文本進行匹配以得到第二逆文本詞頻，所述第二逆文本詞頻為所述字符單元在所述無關文本中的逆文本詞頻；

依據所述第一逆文本詞頻和第二逆文本詞頻得到所述字符單元對所述目標領域的貢獻度；

根據所述貢獻度對所述原始詞典中的字符單元進行排序，得到第二隊列；

從所述第二隊列中截取第二預設數量的字符單元；其中，所述第二預設數量的字符單元的貢獻度均大于所述第二隊列中其余字符單元的貢獻度；

由所述第二預設數量的字符單元構成所述目標領域的目標詞典。

2.根據權利要求1所述的領域詞典生成方法，其特征在于，所述獲取每個字符單元的互相關度以得到所述目標領域的原始詞典，包括：

獲取每個字符單元的互相關度；

根據所述互相關度對所述字符單元集合中的字符單元進行排序，得到第一隊列；

從所述第一隊列中截取第一預設數量的字符單元；其中，所述第一預設數量的字符單元的互相關度均大于所述第一隊列中其余字符單元的互相關度；

由所述第一預設數量的字符單元構成所述原始詞典。

3.根據權利要求1所述的領域詞典生成方法，其特征在于，依據所述第一逆文本詞頻和第二逆文本詞頻得到所述字符單元對所述目標領域的貢獻度，包括：

由第一逆文本詞頻減去所述第二逆文本詞頻得到所述字符單元對所述目標領域的貢獻度。

4.根據權利要求1或2所述的領域詞典生成方法，其特征在于，所述得到所述目標領域的原始詞典，之后還包括：

獲取目標領域的歷史詞典；

根據所述歷史詞典對所述原始詞典進行更新；

其中，所述根據所述歷史詞典對所述原始詞典進行更新，包括：

獲取第一待刪除字符單元集合；所述第一待刪除字符單元集合為所述原始詞典中的字符單元與所述歷史詞典中的字符單元的交集；

從所述原始詞典中刪除所述第一待刪除字符單元集合，得到更新后的原始詞典。

5.根據權利要求1所述的領域詞典生成方法，其特征在于，所述根據所述貢獻度對所述原始詞典中的字符單元進行排序，得到第二隊列，之后還包括：

獲取目標領域的歷史詞典；

根據所述歷史詞典對所述第二隊列進行更新；

其中，所述根據所述歷史詞典對所述第二隊列進行更新，包括：

獲取第二待刪除字符單元集合，所述第二待刪除字符單元集合為所述第二隊列中的字符單元與所述歷史詞典中的字符單元的交集；

從所述第二隊列中刪除所述第二待刪除字符單元集合；

對所述第二隊列中的字符單元按照貢獻度進行重新排序；

從重新排序后得到的第二隊列中截取第三預設數量的字符單元；其中，所述第三預設數量的字符單元的貢獻度均大于所述重新排序后得到的第二隊列中其余字符單元的貢獻度；

由所述第三預設數量的字符單元構成更新后的第二隊列。