[發明專利]文本實體提取方法及裝置

有效

• 申請號: 201710107546.0
• 申請日: 2017-02-27
• 公開（公告）號: CN106910501B
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 包恒耀;蘇可;陳益;饒孟良
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 朱雅男

1.一種文本實體提取方法，其特征在于，所述方法包括：

確定目標文本中包含的候選文本實體；

對所述候選文本實體進行組合，生成所述目標文本對應的候選分詞組合，各個所述候選分詞組合中包含的候選文本實體不同；

獲取N元文法N-Gram模型,所述N-Gram模型用于指示N個文本元素按序組合的概率，所述文本元素為文本中的字或詞，N≥2，N為正整數；

根據所述N-Gram模型計算各個所述候選分詞組合對應的所述組合概率，所述組合概率指所述目標文本采用所述候選分詞組合時語法成立的概率；

根據所述組合概率確定所述目標文本對應的目標分詞組合；

根據所述目標分詞組合從所述目標文本中提取文本實體。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取預設語料資源，所述預設語料資源包括預設模板和攜帶標注的語料數據中的至少一種；

根據所述預設語料資源訓練所述N-Gram模型。

3.根據權利要求1所述的方法，其特征在于，所述候選分詞組合中包含L個所述文本元素，L個所述文本元素中包括所述候選文本實體，以及所述候選文本實體外所述目標文本中的文本內容；

所述根據所述N-Gram模型計算所述候選分詞組合對應的所述組合概率，包括：

將L個所述文本元素中相鄰的N個文本元素劃分至同一N元組，L個所述文本元素中包含L-N+1個所述N元組；

根據所述N-Gram模型確定各個所述N元組對應的第一概率，得到L-N+1個第一概率；

根據所述L-N+1個第一概率計算所述候選分詞組合對應的所述組合概率。

4.根據權利要求3所述的方法，其特征在于，所述根據所述L-N+1個第一概率計算所述候選分詞組合對應的所述組合概率之前，還包括：

若所述N-Gram模型中不包含所述N元組對應的第一概率，則將預設概率值確定為所述N元組對應的所述第一概率。

5.根據權利要求3或4所述的方法，其特征在于，所述根據所述L-N+1個第一概率計算所述候選分詞組合對應的所述組合概率，包括：

獲取第i-N+1個文本元素至第i個文本元素所構成的N元組對應的第一概率，N≤i≤L，i為正整數；

對獲取到的L-N+1個第一概率進行累乘，并將累乘結果確定為所述候選分詞組合對應的所述組合概率。

6.根據權利要求1至4任一所述的方法，其特征在于，所述確定目標文本中包含的候選文本實體，包括：

確定所述目標文本所屬的目標領域；

根據所述目標領域對應的實體庫確定所述目標文本中包含的候選文本實體。

7.根據權利要求1至4任一所述的方法，其特征在于，所述根據所述組合概率確定所述目標文本對應的目標分詞組合，包括：

將所述組合概率中值最大的組合概率對應的所述候選分詞組合確定為所述目標分詞組合；

或，

檢測所述組合概率中值最大的組合概率是否大于預設概率閾值；若所述值最大的組合概率大于所述預設概率閾值，則將所述值最大的組合概率對應的所述候選分詞組合確定為所述目標分詞組合。

8.一種文本實體提取裝置，其特征在于，所述裝置包括：

第一確定模塊，用于確定目標文本中包含的候選文本實體；

生成模塊，用于對所述候選文本實體進行組合，生成所述目標文本對應的候選分詞組合，各個所述候選分詞組合中包含的所述候選文本實體不同；

獲取單元，用于獲取N元文法N-Gram模型,所述N-Gram模型用于指示N個文本元素按序組合的概率，所述文本元素為文本中的字或詞，N≥2，N為正整數；

計算單元，用于根據所述N-Gram模型計算各個所述候選分詞組合對應的所述組合概率，所述組合概率指所述目標文本采用所述候選分詞組合時語法成立的概率；

第二確定模塊，用于根據所述組合概率確定所述目標文本對應的目標分詞組合；

提取模塊，用于根據所述目標分詞組合從所述目標文本中提取文本實體。