[發(fā)明專利]一種對(duì)文本序列進(jìn)行分詞的方法、裝置和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201711364208.1
• 申請(qǐng)日: 2017-12-18
• 公開（公告）號(hào): CN108038103B
• 公開（公告）日: 2021-08-10
• 發(fā)明（設(shè)計(jì)）人: 蘇海波;劉鈺;劉譯璟;楊哲銘;楊中亮
• 申請(qǐng)（專利權(quán)）人: 沈陽(yáng)智能大數(shù)據(jù)科技有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06N3/04
• 代理公司: 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 李瀟

1.一種對(duì)文本序列進(jìn)行分詞的方法，其特征在于，所述方法包括：

確定與所述文本序列對(duì)應(yīng)的概率矩陣，所述概率矩陣記錄有所述文本序列中的每個(gè)字符與預(yù)設(shè)的每個(gè)標(biāo)注字符相匹配的概率值，所述標(biāo)注字符用于對(duì)所述文本序列進(jìn)行分詞；

確定與所述概率矩陣對(duì)應(yīng)的轉(zhuǎn)移矩陣，所述轉(zhuǎn)移矩陣記錄了所述每個(gè)標(biāo)注字符之間的轉(zhuǎn)移概率；

根據(jù)所述概率矩陣和轉(zhuǎn)移矩陣，對(duì)所述文本序列進(jìn)行分詞；

其中，所述確定與所述概率矩陣對(duì)應(yīng)的轉(zhuǎn)移矩陣，具體為：

將所述概率矩陣輸入至條件隨機(jī)場(chǎng)模型CRF生成對(duì)應(yīng)的轉(zhuǎn)移矩陣；

條件隨機(jī)場(chǎng)模型是一種無向圖模型，是在給定需要標(biāo)記的觀察序列的條件下，計(jì)算整個(gè)標(biāo)記序列的聯(lián)合概率分布；

假設(shè)(X，Y)為一個(gè)線性鏈條件隨機(jī)場(chǎng)，則線性鏈條件隨機(jī)場(chǎng)P(Y|X)的參數(shù)化表示為：

其中，z(x)表示規(guī)范化因子，t_k表示轉(zhuǎn)移特征函數(shù)，S_ι表示狀態(tài)特征函數(shù)，λ_k和μ_ι分別為上述特征函數(shù)對(duì)應(yīng)的權(quán)值；一個(gè)線性鏈條件隨機(jī)場(chǎng)由上述轉(zhuǎn)移特征函數(shù)和狀態(tài)特征函數(shù)以及它們的權(quán)值唯一確定，λ_k和μ_ι的取值為1或0，當(dāng)滿足特征條件時(shí)取1，反之取0；

將概率矩陣輸入CRF后，會(huì)通過最大似然概率算法得到轉(zhuǎn)移矩陣，轉(zhuǎn)移矩陣表示標(biāo)注字符之間的轉(zhuǎn)移概率；對(duì)于轉(zhuǎn)移矩陣A，其中，轉(zhuǎn)移矩陣A是一個(gè)方陣，設(shè)i為方陣的第i行，j為方陣的第j列，則A_ij表示從第i個(gè)標(biāo)注字符轉(zhuǎn)移到第j個(gè)標(biāo)注字符的概率；轉(zhuǎn)移矩陣A通過訓(xùn)練過程最大化似然概率不斷更新，經(jīng)多次迭代后得到最優(yōu)的轉(zhuǎn)移矩陣A。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定與所述文本序列對(duì)應(yīng)的概率矩陣，包括：

獲取所述文本序列中的每個(gè)字符的字符向量；

將所述字符向量代替對(duì)應(yīng)的每個(gè)字符生成字符矩陣；

獲取所述字符矩陣的特征向量；

根據(jù)所述特征向量，生成概率矩陣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述概率矩陣和轉(zhuǎn)移矩陣，對(duì)所述文本序列進(jìn)行分詞，包括：

根據(jù)所述概率矩陣和轉(zhuǎn)移矩陣，確定與所述文本序列對(duì)應(yīng)的標(biāo)注序列；

根據(jù)所述標(biāo)注序列中的標(biāo)注字符對(duì)所述文本序列進(jìn)行分詞。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述文本序列中的每個(gè)字符的字符向量，包括：

獲取字符向量的映射字典，所述映射字典記錄了字符與對(duì)應(yīng)字符向量的映射關(guān)系；

從所述字符向量的映射字典中查找所述每個(gè)字符的字符向量。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述文本序列中的每個(gè)字符的字符向量之前，所述方法還包括：

對(duì)采集的均衡語(yǔ)料進(jìn)行預(yù)處理生成訓(xùn)練數(shù)據(jù)；

通過預(yù)設(shè)的模型對(duì)所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練生成對(duì)應(yīng)的字符向量模型；

根據(jù)所述字符向量模型生成字符向量的映射字典。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述特征向量，生成概率矩陣，包括：

將兩個(gè)時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)LSTM連接至同一輸出層，所述兩個(gè)LSTM的時(shí)序方向相反；

將所述特征向量分別輸入至所述兩個(gè)LSTM；

獲取所述兩個(gè)LSTM在預(yù)設(shè)時(shí)間段內(nèi)的每一個(gè)時(shí)間節(jié)點(diǎn)生成的輸出向量；

對(duì)所述每一個(gè)時(shí)間節(jié)點(diǎn)形成的輸出向量進(jìn)行拼接生成拼接向量；

將所述拼接向量傳輸至所述輸出層生成輸出向量；

將所述輸出向量合成為概率矩陣。