[發(fā)明專利]一種提升句向量語義的方法、系統(tǒng)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810990905.6
• 申請(qǐng)日: 2018-08-28
• 公開（公告）號(hào): CN109408802A
• 公開（公告）日: 2019-03-01
• 發(fā)明（設(shè)計(jì)）人: 劉浪;肖龍?jiān)?/a>;蔡振華;李稀敏;劉曉葳;譚玉坤;王靜
• 申請(qǐng)（專利權(quán)）人: 廈門快商通信息技術(shù)有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27
• 代理公司: 廈門仕誠(chéng)聯(lián)合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35227
• 代理人: 樂珠秀

本發(fā)明公開了一種提升句向量語義的方法、系統(tǒng)及存儲(chǔ)介質(zhì)，其通過對(duì)當(dāng)前句子進(jìn)行上下文擴(kuò)展，得到擴(kuò)展文本；并對(duì)所述擴(kuò)展文本進(jìn)行命名實(shí)體識(shí)別，得到所述擴(kuò)展文本的實(shí)體詞；以及對(duì)所述擴(kuò)展文本進(jìn)行分詞處理，并對(duì)分詞結(jié)果去除所述實(shí)體詞和去除停用詞，得到非實(shí)體詞；然后對(duì)所述實(shí)體詞和所述非實(shí)體詞分別計(jì)算詞向量，并且，對(duì)所述實(shí)體詞的詞向量賦予第一權(quán)重，對(duì)所述非實(shí)體詞的詞向量賦予第二權(quán)重；最后根據(jù)所述實(shí)體詞和所述非實(shí)體詞的詞向量及對(duì)應(yīng)的權(quán)重，計(jì)算所有詞向量的加權(quán)平均值，作為當(dāng)前句子的句向量；從而提升句向量對(duì)句子語義的表達(dá)效果。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理技術(shù)領(lǐng)域，特別是一種提升句向量語義的方法及其應(yīng)用該方法的系統(tǒng)和存儲(chǔ)介質(zhì)。

背景技術(shù)

在自然語言處理(Natural Language Processing，NLP)領(lǐng)域，句向量一直不能十分準(zhǔn)確的表達(dá)一個(gè)句子所要表達(dá)的意思，特別是上下文中的句子,其意思根據(jù)上下文而變化，各個(gè)不同的上下文情景當(dāng)中，句向量的表達(dá)效果不是那么準(zhǔn)確，在這方面一直都沒有較好的解決辦法。

發(fā)明內(nèi)容

本發(fā)明為解決上述問題，提供了一種提升句向量語義的方法、系統(tǒng)及存儲(chǔ)介質(zhì)，通過增加上下文詞語的權(quán)重來得到當(dāng)前句子的向量，從而提升句向量對(duì)句子語義的表達(dá)效果。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種提升句向量語義的方法，其包括以下步驟：

a.對(duì)當(dāng)前句子進(jìn)行上下文擴(kuò)展，得到擴(kuò)展文本；

b.對(duì)所述擴(kuò)展文本進(jìn)行命名實(shí)體識(shí)別，得到所述擴(kuò)展文本的實(shí)體詞；

c.對(duì)所述擴(kuò)展文本進(jìn)行分詞處理，并對(duì)分詞結(jié)果去除所述實(shí)體詞和去除停用詞，得到非實(shí)體詞；

d.對(duì)所述實(shí)體詞和所述非實(shí)體詞分別計(jì)算詞向量，并且，對(duì)所述實(shí)體詞的詞向量賦予第一權(quán)重，對(duì)所述非實(shí)體詞的詞向量賦予第二權(quán)重；

e.根據(jù)所述實(shí)體詞和所述非實(shí)體詞的詞向量及對(duì)應(yīng)的權(quán)重，計(jì)算所有詞向量的加權(quán)平均值，作為當(dāng)前句子的句向量。

優(yōu)選的，所述的步驟a中，對(duì)當(dāng)前句子進(jìn)行上下文擴(kuò)展，是指將當(dāng)前句子向上和/或向下擴(kuò)展至三個(gè)句子以上。

具體的，所述的步驟a中，若當(dāng)前句子為文本的中間句子，則所述擴(kuò)展文本包括當(dāng)前句子、當(dāng)前句子的上一個(gè)句子、當(dāng)前句子的下一個(gè)句子；若當(dāng)前句子為文本的第一個(gè)句子，則所述擴(kuò)展文本包括當(dāng)前句子和當(dāng)前句子的下兩個(gè)句子；若當(dāng)前句子為文本的最后一個(gè)句子，則所述擴(kuò)展文本包括當(dāng)前句子和當(dāng)前句子的上兩個(gè)句子。

優(yōu)選的，所述的步驟b中，對(duì)所述擴(kuò)展文本進(jìn)行命名實(shí)體識(shí)別，是采用實(shí)體詞典庫(kù)對(duì)所述擴(kuò)展文本進(jìn)行匹配處理以獲取所述擴(kuò)展文本的實(shí)體詞，和/或，采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法進(jìn)行識(shí)別所述擴(kuò)展文本的實(shí)體詞；其中，所述統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法包括：隱馬爾可夫模型HMM、最大熵ME、支持向量機(jī)SVM、條件隨機(jī)場(chǎng)CRF。

其中，所述的步驟b中，進(jìn)一步對(duì)所述實(shí)體詞進(jìn)行基于tf-idf算法提取關(guān)鍵詞，得到關(guān)鍵實(shí)體詞；并對(duì)所述關(guān)鍵實(shí)體詞賦予第三權(quán)重，且所述第三權(quán)重大于所述第一權(quán)重或所述第二權(quán)重。

優(yōu)選的，所述的步驟c中，去除停用詞，是通過查找停用詞表，并將分詞結(jié)果中存在于所述停用詞表中的詞語作為停用詞去除；并且，進(jìn)一步將去除停用詞后的詞語進(jìn)行詞性還原。

優(yōu)選的，所述的步驟d中，所述第一權(quán)重大于所述第二權(quán)重。

對(duì)應(yīng)的，本發(fā)明還提供一種提升句向量語義的系統(tǒng)，其包括：

文本擴(kuò)展模塊，用于對(duì)當(dāng)前句子進(jìn)行上下文擴(kuò)展，得到擴(kuò)展文本；

實(shí)體識(shí)別模塊，用于對(duì)所述擴(kuò)展文本進(jìn)行命名實(shí)體識(shí)別，得到所述擴(kuò)展文本的實(shí)體詞；