[發(fā)明專利]一種基于深度學(xué)習(xí)和主題模型的問(wèn)答系統(tǒng)實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810330697.7
• 申請(qǐng)日: 2018-04-13
• 公開(kāi)（公告）號(hào): CN108763284B
• 公開(kāi)（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 詹國(guó)輝;俞祝良
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類(lèi)號(hào): G06F16/332
• 分類(lèi)號(hào): G06F16/332;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)和主題模型的問(wèn)答系統(tǒng)實(shí)現(xiàn)方法，包括步驟：S1、將問(wèn)句輸入Twitter LDA主題模型獲得問(wèn)句的主題類(lèi)型，并提取相應(yīng)主題詞，將輸入問(wèn)句和主題詞表示為詞向量；S2、將輸入問(wèn)句的詞向量輸入RNN循環(huán)神經(jīng)網(wǎng)絡(luò)編碼，獲取問(wèn)句的編碼隱藏層狀態(tài)向量；S3、解碼RNN循環(huán)神經(jīng)網(wǎng)絡(luò)使用聯(lián)合注意力機(jī)制結(jié)合問(wèn)句的局部和全局混合語(yǔ)義向量，進(jìn)行解碼生成詞；S4、使用大規(guī)模對(duì)話語(yǔ)料訓(xùn)練基于編碼解碼框架的深度學(xué)習(xí)主題問(wèn)答模型；S5、利用訓(xùn)練的問(wèn)答模型預(yù)測(cè)輸入問(wèn)句的答案，生成與問(wèn)句主題相關(guān)的答案。本發(fā)明彌補(bǔ)了問(wèn)答模型外源知識(shí)的缺失，增加回答的豐富性和多樣性。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理中問(wèn)答系統(tǒng)的技術(shù)領(lǐng)域，尤其是指一種基于深度學(xué)習(xí)和主題模型的問(wèn)答系統(tǒng)實(shí)現(xiàn)方法。

背景技術(shù)

人機(jī)對(duì)話是自然語(yǔ)言處理技術(shù)(Natural Language Processing,NLP)與實(shí)現(xiàn)真正人工智能中是一個(gè)富有挑戰(zhàn)性的任務(wù)，現(xiàn)有的問(wèn)答系統(tǒng)(question and answering,QA)包括特定任務(wù)的問(wèn)答系統(tǒng)和開(kāi)放域的問(wèn)答系統(tǒng)。問(wèn)答系統(tǒng)旨在幫助人類(lèi)完成特定的任務(wù)，比如完成人發(fā)出的指令、引導(dǎo)人完成某一項(xiàng)任務(wù)，與此同時(shí)，問(wèn)答系統(tǒng)設(shè)計(jì)用來(lái)完成不同聊天背景下模仿人類(lèi)自然聊天的過(guò)程。之前有大量的研究集中在對(duì)話系統(tǒng)，隨著網(wǎng)絡(luò)上社交媒體數(shù)據(jù)的爆炸式增長(zhǎng)，大量的訓(xùn)練對(duì)話語(yǔ)料成為模型進(jìn)一步改進(jìn)的突破口，深度學(xué)習(xí)聊天機(jī)器人成為了學(xué)術(shù)界和工業(yè)界的熱門(mén)方向。

目前，問(wèn)答系統(tǒng)問(wèn)答模型相關(guān)問(wèn)題的研究方法主要包含以下方法:1、基于模板式匹配問(wèn)答模型。首先是模板匹配式模型，我們可以通過(guò)設(shè)計(jì)規(guī)則來(lái)讓對(duì)話模型知道遇到不同語(yǔ)言問(wèn)句時(shí)，回復(fù)不同內(nèi)容，這種方式需要設(shè)計(jì)多種規(guī)則，并且考慮規(guī)則間的優(yōu)先順序，規(guī)則越完善則回答內(nèi)容越好，不過(guò)這種模型可遷移性較差。2、另外，檢索式模型跟搜索引擎相似，不同的是檢索模型給我們的是答案，這個(gè)模型主要是對(duì)問(wèn)答對(duì)進(jìn)行匹配，取決于輸入的問(wèn)句與答案候選集之間相似度，但生成內(nèi)容依賴于數(shù)據(jù)集，不能創(chuàng)造新的回答內(nèi)容。

本發(fā)明針對(duì)問(wèn)答系統(tǒng)生成與問(wèn)句主題相關(guān)的回答，重點(diǎn)研究了一種基于深度神經(jīng)網(wǎng)絡(luò)和主題模型的問(wèn)答模型，由于神經(jīng)網(wǎng)絡(luò)能夠捕捉到問(wèn)題和回復(fù)答案之間語(yǔ)義和句法上的關(guān)系，通過(guò)完全端到端(end-to-end)的方式從大量問(wèn)答語(yǔ)料中學(xué)習(xí)模型參數(shù)，通過(guò)擬合神經(jīng)網(wǎng)絡(luò)參數(shù)，能夠理解問(wèn)答中的問(wèn)句并做出適當(dāng)?shù)幕貜?fù)。當(dāng)前主流的生成式問(wèn)答模型主要使用序列到序列模型(sequence-to-sequence)生成問(wèn)答回復(fù)，并且結(jié)合注意力機(jī)制(attention mechanism)和主題模型，能夠有效的生成問(wèn)句主題相關(guān)的回復(fù)，因此是一種可行的分析方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于深度學(xué)習(xí)和主題模型的問(wèn)答系統(tǒng)實(shí)現(xiàn)方法，利用主題模型提取問(wèn)句的主題詞，并結(jié)合聯(lián)合注意力機(jī)制有效利用編碼語(yǔ)義向量和主題詞，生成與問(wèn)句主題相關(guān)的回答，從而彌補(bǔ)了對(duì)話模型外源知識(shí)的缺失，增加回答的豐富性和多樣性。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：一種基于深度學(xué)習(xí)和主題模型的問(wèn)答系統(tǒng)實(shí)現(xiàn)方法，包括以下步驟：

S1、將問(wèn)句輸入Twitter LDA主題模型獲得問(wèn)句的主題類(lèi)型，并提取相應(yīng)主題詞，將輸入問(wèn)句和主題詞表示為詞向量；

S2、對(duì)話模型使用sequence-to-sequence編碼解碼框架，將輸入問(wèn)句的詞向量輸入RNN循環(huán)神經(jīng)網(wǎng)絡(luò)編碼，獲取問(wèn)句的編碼隱藏層狀態(tài)向量；

S3、解碼RNN循環(huán)神經(jīng)網(wǎng)絡(luò)使用聯(lián)合注意力機(jī)制結(jié)合問(wèn)句的局部和全局混合語(yǔ)義向量，進(jìn)行解碼生成詞；

S4、使用大規(guī)模對(duì)話語(yǔ)料訓(xùn)練基于編碼解碼框架的深度學(xué)習(xí)主題問(wèn)答模型；

S5、利用訓(xùn)練的問(wèn)答模型預(yù)測(cè)輸入問(wèn)句的答案，生成與問(wèn)句主題相關(guān)的答案。