[發明專利]針對特定類型分詞的識別方法、裝置、介質及電子設備

在審

• 申請號: 202110374256.9
• 申請日: 2021-04-07
• 公開（公告）號: CN115186096A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 王博遠
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06F40/279;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 葉虹

1.一種針對特定類型分詞的識別方法，其特征在于，包括：

獲取待分析文本的分詞集合；

基于所述分詞集合中各分詞確定所述分詞集合中目標分詞的參考評分；所述目標分詞的參考評分用于對所述目標分詞進行特定類型評價；

從預設知識圖譜中獲取與所述目標分詞的相鄰分詞對應的相關分詞，并將所述分詞集合中的所述目標分詞替換為所述相關分詞；

基于所述分詞集合中各分詞確定所述相關分詞的參考評分；所述相關分詞的參考評分用于對所述目標分詞進行特定類型評價；

根據所述目標分詞的參考評分和所述相關分詞的參考評分對所述目標分詞進行特定類型識別。

2.根據權利要求1所述的方法，其特征在于，獲取待分析文本的分詞集合，包括：

提取樣本會話中出現頻次高于頻次閾值的特定短語；

對獲取到的待分析文本進行分詞處理，得到參考分詞集合；

基于所述特定短語對所述參考分詞集合進行分詞重組，得到所述分詞集合。

3.根據權利要求2所述的方法，其特征在于，提取樣本會話中出現頻次高于頻次閾值的特定短語之前，所述方法還包括：

讀取至少一組歷史會話，并根據文本數量從所述至少一組歷史會話中篩選所述樣本會話；其中，所述樣本會話中包含的文本數量大于預設文本數量。

4.根據權利要求2所述的方法，其特征在于，提取樣本會話中出現頻次高于頻次閾值的特定短語，包括：

對所述樣本會話中的樣本文本進行逐字切分，得到用于構成所述樣本文本的字集合；

按照設置的相鄰數量以及所述樣本文本中的字位置關系將所述字集合中相鄰的字進行組合，得到所述樣本文本對應的短語集合；

獲取所述樣本會話中所有短語集合，得到總短語集合；

根據所述總短語集合的總短語量計算所述總短語集合中各短語的出現頻次；

將出現頻次高于所述頻次閾值的短語確定為所述特定短語。

5.根據權利要求2所述的方法，其特征在于，對獲取到的待分析文本進行分詞處理，得到參考分詞集合，包括：

按照當前會話的文本發布順序選取所述待分析文本；

對所述待分析文本進行分詞處理，得到所述參考分詞集合。

6.根據權利要求2所述的方法，其特征在于，基于所述特定短語對所述參考分詞集合進行分詞重組，得到所述分詞集合，包括：

基于所述特定短語將所述參考分詞集合中的待合并分詞進行合并，以實現分詞重組并得到所述分詞集合；

其中，所述待合并分詞為所述參考分詞集合中命中同一特定短語的分詞，所述分詞集合中的分詞數量小于或等于所述參考分詞集合中的分詞數量。

7.根據權利要求1所述的方法，其特征在于，從預設知識圖譜中獲取與所述目標分詞的相鄰分詞對應的相關分詞，包括：

將所述預設知識圖譜與所述目標分詞的相鄰分詞進行比對，得到比對結果；

若所述比對結果用于表示所述相鄰分詞命中所述預設知識圖譜，則從所述預設知識圖譜中獲取與所述相鄰分詞對應的相關分詞。

8.根據權利要求7所述的方法，其特征在于，從所述預設知識圖譜中獲取與所述相鄰分詞對應的相關分詞，包括：

從所述預設知識圖譜中確定所述相鄰分詞所處的詞組；

從所述詞組中選取與所述相鄰分詞的詞性一致的分詞作為所述相關分詞。

9.根據權利要求7所述的方法，其特征在于，若所述相關分詞的數量大于1，基于所述分詞集合中各分詞確定所述相關分詞的參考評分，包括：

確定每個所述相關分詞替換至所述分詞集合中之后的參考評分，得到參考評分集合；

計算參考評分集合的加權平均值作為所述相關分詞的參考評分。