[發(fā)明專利]一種基于深度學(xué)習(xí)及遺忘算法的中文分詞方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811258651.5
• 申請(qǐng)日: 2018-10-26
• 公開(kāi)（公告）號(hào): CN109388806B
• 公開(kāi)（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 盧學(xué)裕;王安;楊大海;楊利軍
• 申請(qǐng)（專利權(quán)）人: 北京布本智能科技有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06F40/237;G06N20/00
• 代理公司: 北京東方芊悅知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11591
• 代理人: 陳靳秋

1.一種基于深度學(xué)習(xí)及遺忘算法的中文分詞方法，其特征在于，包括以下步驟：

步驟一：逐字掃描句子獲取自然語(yǔ)言，采用深度學(xué)習(xí)分詞方法對(duì)掃描的自然語(yǔ)言劃分成詞語(yǔ)序列收入至第一詞庫(kù)；

步驟二：逐字掃描句子獲取自然語(yǔ)言，采用遺忘算法分詞方法對(duì)獲取的自然語(yǔ)言進(jìn)行斷字劃分成候選詞收入至第二詞庫(kù)，

步驟三：將第一詞庫(kù)中的詞語(yǔ)序列與第二詞庫(kù)中的候選詞融合獲取最終分詞結(jié)果，其中，融合方法為：

第一詞庫(kù)與第二詞庫(kù)均為詞，則合并為詞；第一詞庫(kù)與第二詞庫(kù)均為單字，則合并為字；第二詞庫(kù)中的連續(xù)單字，若對(duì)應(yīng)深度學(xué)習(xí)中為詞，則合并為詞；第二詞庫(kù)中的單個(gè)單字，若對(duì)應(yīng)深度學(xué)習(xí)中為詞，則向前或向后合并為詞；

所述步驟二遺忘算法分詞方法采用判斷公式為：

P(W_n?W_n+1)＜P(W_n)*P(W_n+1)

其中，Wn為在掃描句子中第n個(gè)字

P(W_n)：

P(W_n?Wn₊₁)：

所述步驟二中遺忘算法采用的遺忘曲線為牛頓冷卻曲線。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)及遺忘算法的中文分詞方法，其特征在于，所述步驟一深度學(xué)習(xí)分詞方法采用RNN方法。

3.根據(jù)權(quán)利要求1或2所述的一種基于深度學(xué)習(xí)及遺忘算法的中文分詞方法，其特征在于，所述步驟一深度學(xué)習(xí)分詞方法采用RNN方法中的LSTM模型。