[發明專利]基于雙向循環神經網絡進行分詞的方法

在審

• 申請號: 201810379547.5
• 申請日: 2018-04-25
• 公開（公告）號: CN108595428A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 張黎;鄒開紅;宗旭;肖增輝
• 申請（專利權）人: 杭州閃捷信息科技股份有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06N3/04
• 代理公司: 杭州千克知識產權代理有限公司 33246
• 代理人: 裴金華

1.基于雙向循環神經網絡進行分詞的方法，其特征在于，包括如下步驟：

S1：將獲取的句子樣本中的字分別轉換為字向量；

S2：將字向量輸入雙向門控循環單元網絡中進行訓練得到輸出序列；

S3：將輸出序列傳遞到分類層以產生分詞標記序列；

S4：將分詞標記序列與句子樣本結合生成分詞文本。

2.如權利要求1所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：步驟S1中采用Embedding將獲取的句子樣本中的字分別轉換為字向量。

3.如權利要求1或2所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：步驟S2中將字向量按照句子樣本順序和反序分別輸入雙向門控循環單元網絡時雙向門控循環單元網絡分離成前向傳遞單元和反向傳遞單元，將字向量按照句子樣本順序輸入前向傳遞單元得到第一狀態輸出，將字向量按照句子樣本反序輸入反向傳遞單元得到第二狀態輸出，將第一狀態輸出和第二狀態輸出拼接起來得到輸出序列。

4.如權利要求3所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：所述第一狀態輸出和第二狀態輸出的長度相等，所述輸出序列的長度為第一狀態輸出的長度的兩倍。

5.如權利要求1或2所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：所述分類層為softmax分類器。

6.如權利要求1或2所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：步驟S3中的分詞標記序列包括4個標簽組合的字符串。

7.如權利要求6所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：所述標簽組合包括BMES，其中B表示詞的開始部分，E表示詞的結尾部分，M表示詞的中間部分，S表示單個詞。

8.如權利要求6所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：步驟S4中將句子樣本按照分詞標記序列中屬于詞的開始部分、多個中間部分、結束部分和單個詞分別對應的字作為詞語從句子樣本中切分。

9.如權利要求1或2所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：所述句子樣本是由一個或多個末端帶有終結符號、符合中文語法規則的句子構成的文本，所述終結符合包括句號、問號、感嘆號、逗號或者分號。

10.如權利要求1或2所述的基于雙向循環神經網絡進行分詞的方法，其特征在于：步驟S2中所述雙向門控循環單元網絡以標點符號為各次訓練結束的信號。