[發明專利]分詞方法及裝置

在審

• 申請號: 202010116865.X
• 申請日: 2020-02-25
• 公開（公告）號: CN111274801A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 周慧超;王風雷;李東軍
• 申請（專利權）人: 蘇州躍盟信息科技有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06N3/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩

1.一種分詞方法，其特征在于，包括：

依據預設詞表對待分詞語句進行分詞處理，得到所述待分詞語句的詞圖，其中，所述詞圖由多條詞路徑組成，每條所述詞路徑由所述待分詞語句包含的詞按照預設邏輯關系組合而成；

將所述詞圖中的每條詞路徑分別輸入至分詞評分模型進行評分，得到多個評分結果，所述評分結果用于表征對所述待分詞語句進行分詞處理的準確度；

將所述多個評分結果中評分最高的詞路徑作為所述待分詞語句的分詞結果；

輸出所述分詞結果。

2.根據權利要求1所述的方法，其特征在于，將所述詞圖中的每條詞路徑分別輸入至分詞評分模型進行評分，得到多個評分結果之前，所述方法還包括：

對所述分詞評分模型進行訓練。

3.根據權利要求2所述的方法，其特征在于，對所述分詞評分模型進行訓練，包括：

獲取第一樣本數據以及第二樣本數據，其中，所述第一樣本數據由未進行所述分詞處理的語料中獲取，所述第二樣本數據由進行了所述分詞處理的語料中獲取；

基于所述第一樣本數據對預設神經網絡模型進行訓練，得到語義模型；

基于所述第二樣本數據對所述語義模型進行遷移學習，得到所述分詞評分模型。

4.根據權利要求3所述的方法，其特征在于，所述預設神經網絡模型包括如下至少之一：

深度神經網絡、全連接神經網絡、卷積神經網絡以及循環神經網絡。

5.根據權利要求1所述的方法，其特征在于，輸出所述分詞結果之后，所述方法還包括：

將所述分詞處理中得到的新詞添加至所述預設詞表。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

從所述詞圖包含的全部詞路徑中獲取預設數量的詞路徑；

將所述預設數量的詞路徑分別輸入至所述分詞評分模型，得到與所述預設數量的詞路徑對應的預設數量的評分結果；

將所述預設數量的評分結果中評分最高的詞路徑作為所述待分詞語句的分詞結果。

7.根據權利要求6所述的方法，其特征在于，

如果所述預設數量的評分結果中全部評分都低于預設閾值，將擴展的詞路徑分別輸入至所述分詞評分模型進行評分，其中所述擴展后的詞路徑為所述詞圖包含的除所述預設數量的詞路徑以外的詞路徑；

從所述預設數量的評分結果和所述擴展的詞路徑對應的評分結果中選擇評分最高的詞路徑作為所述待分詞語句的分詞結果。

8.一種分詞方法，其特征在于，包括：

依據預設詞表對待分詞語句進行分詞處理，得到所述待分詞語句的詞圖，其中，所述詞圖由多條詞路徑組成，每條所述詞路徑由所述待分詞語句包含的詞按照預設邏輯關系組合而成；

將所述詞圖中的每條詞路徑分別輸入至分詞評分模型進行評分，得到多個評分結果，所述評分結果用于表征對所述待分詞語句進行分詞處理的準確度；

從所述多個評分結果中選擇目標詞路徑，并將所述目標詞路徑對應的分詞結果作為所述待分詞語句的分詞結果；

輸出所述分詞結果。

9.一種分詞裝置，其特征在于，包括：

分詞模塊，用于依據預設詞表對待分詞語句進行分詞處理，得到所述待分詞語句的詞圖，其中，所述詞圖由多條詞路徑組成，每條所述詞路徑由所述待分詞語句包含的詞按照預設邏輯關系組合而成；

評分模塊，用于將所述詞圖中的每條詞路徑分別輸入至分詞評分模型進行評分，得到多個評分結果，所述評分結果用于表征對所述待分詞語句進行分詞處理的準確度；

設置模塊，用于將所述多個評分結果中評分最高的詞路徑作為所述待分詞語句的分詞結果；

輸出模塊，用于輸出所述分詞結果。

10.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，在所述程序運行時控制所述存儲介質所在設備執行權利要求1至8中任意一項所述的分詞方法。