[發明專利]一種分詞訓練方法及裝置

在審

• 申請號: 201710229249.3
• 申請日: 2017-04-10
• 公開（公告）號: CN108694164A
• 公開（公告）日: 2018-10-23
• 發明（設計）人: 張春榮
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍

1.一種分詞訓練方法，其特征在于，包括：

獲取未標注樣本，計算所述未標注樣本中每個樣本點的不確定值；

根據所述每個樣本點的不確定值，將所述未標注樣本劃分為若干個子樣本，并根據不確定閾值獲取每個子樣本中分詞訓練的目標語料；

接收用戶對所述目標語料的標注操作，根據所述標注操作生成標注結果；

根據所述標注結果和預設模型，得到分詞訓練的目標模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取未標注樣本，計算所述未標注樣本中每個樣本點的不確定值，具體包括：

根據公式一計算所述未標注樣本中每個樣本點的不確定值f(x_i)：

其中，X_i為第i個樣本點，I_i為第i個樣本點的右邊界，y為預先統計得到的第i個樣本點后能否被切分的參數值，y＝0表示第i個樣本點后不能被切分，y＝1表示第i個樣本點后能被切分。

3.根據權利要求1所述的方法，其特征在于，所述根據所述標注結果和預設模型，得到分詞訓練的目標模型，具體包括：

根據所述標注結果，統計所述目標語料中預設長度子串的頻度、變化特征和互信息；

將所述預設長度子串的頻度、變化特征和互信息輸入預設模型，得到分詞訓練的目標模型。

4.根據權利要求3所述的方法，其特征在于，預設長度子串的變化特征AV(s)根據公式二計算得到：

AV(s)＝min{L_av(s),R_av(s)} 公式二

其中，s為預設長度子串，L_av(s)為s的前驅數量，R_av(s)為s的后繼數量。

5.根據權利要求3所述的方法，其特征在于，預設長度子串的互信息MI(x,y)根據公式三計算得到：

其中，x和y分別為預設長度子串，p(xy)是x和y在目標語料中同時出現的概率，p(x)是x在目標語料中單獨出現的概率；p(y)是y在目標語料中單獨出現的概率。

6.一種分詞訓練裝置，其特征在于，包括：

不確定計算模塊，用于獲取未標注樣本，計算所述未標注樣本中每個樣本點的不確定值；

目標語料獲取模塊，用于根據所述每個樣本點的不確定值，將所述未標注樣本劃分為若干個子樣本，并根據不確定閾值獲取每個子樣本中分詞訓練的目標語料；

標注結果生成模塊，用于接收用戶對所述目標語料的標注操作，根據所述標注操作生成標注結果；

目標模型生成模塊，用于根據所述標注結果和預設模型，得到分詞訓練的目標模型。

7.根據權利要求6所述的裝置，其特征在于，所述不確定計算模塊具體用于根據公式一計算所述未標注樣本中每個樣本點的不確定值f(x_i)：

其中，X_i為第i個樣本點，I_i為第i個樣本點的右邊界，y為預先統計得到的第i個樣本點后能否被切分的參數值，y＝0表示第i個樣本點后不能被切分，y＝1表示第i個樣本點后能被切分。

8.根據權利要求6所述的裝置，其特征在于，所述目標模型生成模塊具體包括：

信息統計單元，用于根據所述標注結果，統計所述目標語料中預設長度子串的頻度、變化特征和互信息；

模型生成單元，用于將所述預設長度子串的頻度、變化特征和互信息輸入預設模型，得到分詞訓練的目標模型。

9.根據權利要求8所述的裝置，其特征在于，所述信息統計單元中預設長度子串的變化特征AV(s)根據公式二計算得到：

AV(s)＝min{L_av(s),R_av(s)} 公式二

其中，s為預設長度子串，L_av(s)為s的前驅數量，R_av(s)為s的后繼數量。

10.根據權利要求8所述的裝置，其特征在于，所述信息統計單元中預設長度子串的互信息MI(x,y)根據公式三計算得到：

其中，x和y分別為預設長度子串，p(xy)是x和y在目標語料中同時出現的概率，p(x)是x在目標語料中單獨出現的概率；p(y)是y在目標語料中單獨出現的概率。