[發(fā)明專(zhuān)利]詞匯預(yù)測(cè)方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811523569.0
• 申請(qǐng)日: 2018-12-13
• 公開(kāi)（公告）號(hào): CN109657071B
• 公開(kāi)（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 萬(wàn)月亮;李強(qiáng);火一莽
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京銳安科技有限公司
• 主分類(lèi)號(hào): G06F16/36
• 分類(lèi)號(hào): G06F16/36;G06F40/284;G06F40/216
• 代理公司: 北京品源專(zhuān)利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明公開(kāi)了一種詞匯預(yù)測(cè)方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，一種詞匯預(yù)測(cè)方法包括：獲取多個(gè)連續(xù)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本文本，分別對(duì)多個(gè)連續(xù)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本文本進(jìn)行分詞處理，得到多個(gè)預(yù)測(cè)樣本詞匯序列，對(duì)多個(gè)預(yù)測(cè)樣本詞匯序列進(jìn)行編碼，得到多個(gè)預(yù)測(cè)樣本詞匯向量序列，依次以前一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的X個(gè)連續(xù)詞匯向量作為預(yù)測(cè)輸入，以后一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的詞匯作為目標(biāo)詞匯，對(duì)詞匯預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到詞匯預(yù)測(cè)模型，將待預(yù)測(cè)文本輸入詞匯預(yù)測(cè)模型，得到詞匯預(yù)測(cè)結(jié)果。本發(fā)明公開(kāi)的詞匯預(yù)測(cè)方法、裝置設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于提高詞匯預(yù)測(cè)的效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及計(jì)算機(jī)技術(shù)，尤其涉及一種詞匯預(yù)測(cè)方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

領(lǐng)域內(nèi)詞匯預(yù)測(cè)研究是在自然語(yǔ)言處理的一個(gè)新興課題，詞匯預(yù)測(cè)準(zhǔn)確性的提高對(duì)文本聚類(lèi)、語(yǔ)義消歧、語(yǔ)義Web、信息檢索等眾多應(yīng)用領(lǐng)域具有重要意義。

傳統(tǒng)的詞匯預(yù)測(cè)需要對(duì)詞匯之間的相互映射關(guān)系進(jìn)行研究，并對(duì)大量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行分析后才能得到預(yù)測(cè)結(jié)果。但這需要依靠人為統(tǒng)計(jì)和計(jì)算，不適用于當(dāng)前大數(shù)據(jù)計(jì)算的場(chǎng)景。

發(fā)明內(nèi)容

本發(fā)明提供一種詞匯預(yù)測(cè)方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以提高詞匯預(yù)測(cè)的效率。

第一方面，本發(fā)明實(shí)施例提供一種詞匯預(yù)測(cè)方法，包括：

獲取多個(gè)連續(xù)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本文本；

分別對(duì)多個(gè)連續(xù)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本文本進(jìn)行分詞處理，得到多個(gè)預(yù)測(cè)樣本詞匯序列；

對(duì)多個(gè)預(yù)測(cè)樣本詞匯序列進(jìn)行編碼，得到多個(gè)預(yù)測(cè)樣本詞匯向量序列；

依次以前一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的X個(gè)連續(xù)詞匯向量作為預(yù)測(cè)輸入，以后一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的詞匯作為目標(biāo)詞匯，對(duì)詞匯預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到詞匯預(yù)測(cè)模型，詞匯預(yù)測(cè)模型表示輸入X個(gè)連續(xù)詞匯向量后不同目標(biāo)詞匯的出現(xiàn)概率；

將待預(yù)測(cè)文本輸入詞匯預(yù)測(cè)模型，得到詞匯預(yù)測(cè)結(jié)果。

在第一方面一種可能的實(shí)現(xiàn)方式中，分別對(duì)多個(gè)連續(xù)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本文本進(jìn)行分詞處理，得到多個(gè)預(yù)測(cè)樣本詞匯序列，包括：

分別對(duì)多個(gè)連續(xù)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本文本進(jìn)行分詞處理，并去除分詞處理后的停用詞，得到多個(gè)預(yù)測(cè)樣本詞匯序列。

在第一方面一種可能的實(shí)現(xiàn)方式中，依次以前一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的X個(gè)連續(xù)詞匯向量作為預(yù)測(cè)輸入，以后一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的詞匯作為目標(biāo)詞匯，對(duì)詞匯預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到詞匯預(yù)測(cè)模型，包括：

依次以前一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的X個(gè)連續(xù)詞匯向量作為預(yù)測(cè)輸入，以后一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的詞匯作為目標(biāo)詞匯，在后一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中以X個(gè)連續(xù)詞匯向量作為訓(xùn)練窗口，滑動(dòng)訓(xùn)練窗口，對(duì)詞匯訓(xùn)練模型進(jìn)行訓(xùn)練，得到詞匯預(yù)測(cè)模型。

在第一方面一種可能的實(shí)現(xiàn)方式中，依次以前一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的X個(gè)連續(xù)詞匯向量作為預(yù)測(cè)輸入，以后一個(gè)時(shí)間節(jié)點(diǎn)的預(yù)測(cè)樣本詞匯向量序列中的詞匯作為目標(biāo)詞匯，對(duì)詞匯預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到詞匯預(yù)測(cè)模型之后，方法還包括：

優(yōu)化詞匯預(yù)測(cè)模型，以使詞匯預(yù)測(cè)模型的輸出平均概率最高。

在第一方面一種可能的實(shí)現(xiàn)方式中，對(duì)多個(gè)預(yù)測(cè)樣本詞匯序列進(jìn)行編碼，得到多個(gè)預(yù)測(cè)樣本詞匯向量序列，包括：

利用one-hot編碼方式對(duì)多個(gè)預(yù)測(cè)樣本詞匯序列進(jìn)行編碼，得到多個(gè)預(yù)測(cè)樣本詞匯編碼數(shù)據(jù)；

將多個(gè)預(yù)測(cè)樣本詞匯編碼數(shù)據(jù)分別與預(yù)設(shè)非稀疏矩陣相乘，得到得到多個(gè)預(yù)測(cè)樣本詞匯向量序列。