[發明專利]基于無向圖與單層神經網絡的中文分詞方法

有效

• 申請號: 201711218709.9
• 申請日: 2017-11-28
• 公開（公告）號: CN107832307B
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 夏睿;何聲歡
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/216;G06F16/35
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱顯國

1.基于無向圖與單層神經網絡的中文分詞方法，其特征在于，包括以下步驟：

步驟1、根據標注集，對給定的訓練中文文本進行標注，統計其初始狀態系數和狀態轉移系數；

步驟2、根據字典資源文件，對中文文本的每個字符依據其上下文進行特征抽取，得到文本特征；根據所有文本特征，構建特征函數集合，將文本特征轉換特征向量；

步驟3、將步驟2得到的特征向量送給單層神經網絡訓練分類器模型進行訓練，直至模型收斂；

步驟4、使用步驟3得到的單層神經網絡模型，對測試數據進行分類，根據步驟1統計的初始狀態系數、狀態轉移系數，使用維特比算法進行最優標注序列的求解；

步驟5、將步驟4得到的最優標注序列與測試原始文本結合，生成分詞文本；

所述步驟2具體為：

步驟2.1、根據特征工程模板文件和字典資源文件，對每個字符依據其上下文生成特定的文本特征，統計出現的特征數目，為每個特征分配唯一序號；

步驟2.2、根據每個特征的唯一序號，將字符對應的所有特征表示成一個特征向量；

使用的特征工程模板文件如下：

1)C_n(n＝-2，-1，0，1，2)

2)C_nC_n+1(n＝-2，-1，0，1)

3)C_-1C₁

4)MWL₀，t₀

5)C_nt₀(n＝-1，0，1)

6)T(C_-1)T(C₀)T(C₁)

7)N(C_-1)N(C₀)N(C₁)

8)F(C_-1)F(C₀)F(C₁)

其中，C_n表示相對位置為n的字符；MWL₀，t₀分別表示字典資源文件中，當前字符所屬最長詞的長度及對應的標注；T(C_n)表示取得字符的類別號，N(C_n)表示取得字符的中國人名用字類別號，F(C_n)表示取得字符的外國人名用字類別號；

T(C_n)、N(C_n)和F(C_n)具體為：

A)T(C_n)所取得字符的類別號，分為6類，分別是：0.阿拉伯數字(ANum)、1.中文數字1(CNum1)、2.中文數字2(CNum2)、3.英文字母(EngLetter)、4.日期(Date)及5.其他(Others)；

B)N(C_n)所取得字符的中國人名用字類別號，分為6類，分表是：0.常見姓(FrequencySurname)、1.普通姓(Common Surname)、2.人名用字(Given Name)、3.both 0+2、4.both 1+2及5.其他(Others)；

C)F(C_n)所取得字符的外國人名用字類別號，分為2類，分表是：非外國人名常用字及外國人名常用字；

步驟4中采用維特比算法結合統計的初始狀態系數及狀態轉移系數進行解碼，具體為：

步驟4.1、進行單層神經網絡預測，得到基于softmax歸一化后的概率：

式中，P(y_t＝i|w_t)表示位置t上被標注為類別i的概率，其中L表示標注集的大小，θ_i表示類別i對應的神經網絡單元權值向量，w_t為位置t上的字符x_t表示成的特征向量，所有x_t構成長度為T的中文句子s＝(x₁，x₂，…，x_T)；

步驟4.2、根據得到的概率進行維特比解碼，求解出最優標注序列Y＝(y₁，y₂，…，y_T)。