[發明專利]口語化語句提取的方法及裝置

有效

• 申請號: 201710225009.6
• 申請日: 2017-04-07
• 公開（公告）號: CN106991181B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 李賢
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/36
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆;胡彬

1.一種口語化語句提取的方法，其特征在于，包括：

分別統計電影語料庫與混合語料庫中詞語的詞頻，并對所述電影語料庫與混合語料庫中的詞語根據所述詞頻進行排序；

根據所述詞語的詞頻和排序的信息計算所述詞語在所述電影語料庫和混合語料庫中的差異度，并根據所述差異度確認口語語料庫；

基于所述口語語料庫提取所述混合語料庫中的口語化語句；

所述根據所述詞語的詞頻和排序的信息計算所述詞語在所述電影語料庫和混合語料庫中的差異度，并根據所述差異度確認口語語料庫，包括：

獲取所述電影語料庫和混合語料庫中詞頻的排序在預設范圍內的多個備選詞語；

根據當前詞語序號、詞語最大序號以及當前詞語詞頻百分比，計算所述備選詞語在所述電影語料庫和混合語料庫中的差異度，其中差異度的計算公式如下：

D＝S_m/S_mmax+S_f/S_fmax+(P_f-P_m)

其中，D為差異度；

S_m為混合語料庫中當前詞語序號；

S_mmax為混合語料庫中詞語最大序號；

S_f為電影語料庫中當前詞語序號；

S_fmax為電影語料庫中詞語序號最大序號；

P_f為電影語料庫中當前詞語詞頻百分比；

P_m為混合語料庫中當前詞語詞頻百分比；

將所述差異度滿足預設閾值的所述詞語作為所述口語語料庫。

2.根據權利要求1所述的方法，其特征在于，所述分別統計電影語料庫與混合語料庫中詞語的詞頻，并對所述電影語料庫和混合語料庫中的詞語根據所述詞頻進行排序，包括：

根據參考詞庫和jieba分詞組件分別對所述電影語料庫與混合語料庫中的語句進行分詞操作，得到所述電影語料庫與混合語料庫中的詞語；

分別統計所述電影語料庫與混合語料庫中的詞語的詞頻；

分別對所述電影語料庫與混合語料庫中的詞語根據所述詞語的詞頻由高到低進行排序。

3.根據權利要求1所述的方法，其特征在于，所述基于所述口語語料庫提取所述混合語料庫中的口語化語句，包括：

根據當前語句中出現所述口語語料庫中的所述詞語的個數以及當前語句中詞語的總數，計算所述混合語料庫中當前語句的口語化率，所述口語化率公式計算如下：

k＝n/l

其中，k為口語化率，n為當前語句中出現所述口語語料庫中的所述詞語的個數，l為當前語句中詞語的總數；

將所述口語化率滿足預設閾值的所述當前語句作為所述口語化語句進行提取。

4.根據權利要求3所述的方法，其特征在于，將所述口語化率滿足預設閾值的所述當前語句作為所述口語化語句進行提取包括：

將所述口語化率大于0.5的所述當前語句作為所述口語化語句進行提取。

5.根據權利要求1所述的方法，其特征在于，所述基于所述口語語料庫提取所述混合語料庫中的口語化語句之前，還包括：

建立詞向量訓練模型，將所述口語語料庫中的所述詞語輸入所述詞向量訓練模型得到擴展詞語；并將滿足預設閾值的所述擴展詞語添加到所述口語語料庫。