[發明專利]語料文本中的短語提取方法、裝置、存儲介質及電子設備

有效

• 申請號: 202010610177.9
• 申請日: 2020-06-29
• 公開（公告）號: CN111783450B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 何斐斐;劉志慧;金培根;陸林炳;李炫;林加新
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/211;G06F16/35
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 魏學昊

本申請是關于一種語料文本中的短語提取方法、裝置、存儲介質及電子設備，屬于大數據技術領域，該方法包括：對語料文本進行分詞，得到組成所述語料文本的多個詞語；對所述詞語進行詞性標注，得到每個所述詞語的詞性標簽；利用所述詞性標簽，在所述多個詞中確定滿足預設詞性依存規則的詞語組合；將所述詞語組合輸入預先訓練好的語言模型，得到所述詞語組合對應的成詞概率；將大于預定閾值的所述成詞概率所對應的詞語組合，確定為提取到的第一短語。所述預設詞性依存規則可從規則分享區塊鏈中獲取。本申請有效提升語料文本中的短語提取可靠性。

背景技術

一般地，在很多領域，需要提取大量的粒度較大的短語，既提取大于單位詞語長度的詞語。目前大多數是利用統計的方式提取的短語，例如，通過統計某個詞出現的頻率確定提取的短語。現有技術中存在的缺陷是較依賴于當前的語料的分布，一些粒度較大的短語較難提取，提取短語的數量也較少。因此，導致現有技術中存在語料文本中的短語提取可靠性較低的問題。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本申請的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本申請的目的在于提供一種語料文本中的短語提取方案，進而至少在一定程度上有效提升語料文本中的短語提取可靠性。

根據本申請的一個方面，提供一種語料文本中的短語提取方法，包括：

對語料文本進行分詞，得到組成所述語料文本的多個詞語；

對所述詞語進行詞性標注，得到每個所述詞語的詞性標簽；

利用所述詞性標簽，在所述多個詞語中確定滿足預設詞性依存規則的詞語組合；

將所述詞語組合輸入預先訓練好的語言模型，得到所述詞語組合對應的成詞概率；

將大于預定閾值的所述成詞概率所對應的詞語組合，確定為提取到的第一短語。

在本申請的一種示例性實施方式中，所述利用所述詞性標簽，在所述多個詞語中確定滿足預設詞性依存規則的詞語組合，包括：

獲取所述語料文本所來源的文本領域特征；

根據所述文本領域特征，獲取所述文本領域特征所對應的領域詞性依存規則；

利用所述詞性標簽，在所述多個詞語中確定滿足所述領域詞性依存規則的詞語組合。

在本申請的一種示例性實施方式中，所述獲取所述語料文本所來源的文本領域特征，包括：

獲取所述語料文本所來源的生活場景、生成時間、用戶的屬性特征信息以及語音的音頻特征。

在本申請的一種示例性實施方式中，所述根據所述文本領域特征，獲取所述文本領域特征所對應的領域詞性依存規則，包括：

獲取詞性依存規則表，所述詞性依存規則中包括文本領域特征樣本及所述文本領域特征樣本對應的領域詞性依存規則樣本；

從所述詞性依存規則表中，查找與所述文本領域特征相似度高于預定閾值的文本領域特征樣本；

獲取相似度高于預定閾值的所述文本領域特征樣本所對應的領域詞性依存規則樣本，作為獲取到的領域詞性依存規則。

在本申請的一種示例性實施方式中，所述根據所述文本領域特征，獲取所述文本領域特征所對應的領域詞性依存規則，包括：

將所述語料文本所來源的生活場景、生成時間、用戶的屬性特征信息以及語音的音頻特征輸入規則決策模型，得到所述文本領域特征所對應的領域詞性依存規則。

在本申請的一種示例性實施方式中，所述根據所述文本領域特征，獲取所述文本領域特征所對應的領域詞性依存規則，包括：