[發(fā)明專利]一種基于深度學(xué)習(xí)的候選答案選取方法

有效

• 申請?zhí)枺?/td>: 201710539957.7
• 申請日: 2017-06-27
• 公開（公告）號: CN109145083B
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計）人: 楊燕;安煒杰;賀樑
• 申請（專利權(quán)）人: 華東師范大學(xué)
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 臧云霄;鐘宗

本發(fā)明提供一種基于深度學(xué)習(xí)的候選答案選取方法，包括：步驟S1，輸入問句和候選答案，分別解析為問句詞序列和候選答案詞序列；步驟S2，通過長短時記憶網(wǎng)絡(luò)對問句詞序列和候選答案詞序列建模，得到問句的語義表示和候選答案的語義表示；步驟S3，選取問句詞序列中權(quán)重值最高的詞的詞向量來初始化知識記憶模塊；步驟S4，根據(jù)知識記憶模塊中存儲的知識信息和問句的語義表示，計算問句的知識表示；步驟S5，計算問句的知識表示與候選答案的語義表示之間的相似度，選取相似度最高的候選答案輸出。本發(fā)明在深度學(xué)習(xí)網(wǎng)絡(luò)中引入一個知識記憶模塊來提高問句與候選答案之間的聯(lián)系，提高答案選取的質(zhì)量，以更好地應(yīng)用于社區(qū)問答網(wǎng)站和問答系統(tǒng)中。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)、問答系統(tǒng)和答案選取技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的候選答案選取方法。

背景技術(shù)

隨著人們對信息獲取的準(zhǔn)確性的需求提高，傳統(tǒng)搜索技術(shù)不再能滿足人們的需求。社區(qū)問答系統(tǒng)使得用戶可以發(fā)布問題進(jìn)行提問以滿足自己的信息需求，同時可以與其他用戶交流和分享自己的經(jīng)驗(yàn)、知識和體會。社區(qū)問答系統(tǒng)中積累了大量的用戶問答數(shù)據(jù)資源，如何利用好這些資源，更好地滿足用戶的信息需求是目前研究機(jī)構(gòu)和工業(yè)界研究的一個主要問題。

具體來說，用戶在社區(qū)問答系統(tǒng)中新提交的問題需要等待其他用戶的回答，也即需要一個“響應(yīng)時間”才能得到需要的信息。為了及時得到所需信息，用戶可以將其信息需求以查詢問題的方式提交到社區(qū)問答的檢索系統(tǒng)中，檢索系統(tǒng)從系統(tǒng)所積累的歷史問題答案庫中檢索出與查詢問題在語義上相同或相似的問題，并將候選歷史問題及其答案返回給用戶。

目前對于候選答案的查找主要分為兩大方向，第一是傳統(tǒng)的檢索方法，主要是利用詞型詞義的及句法樹信息的問句相似度匹配等算法。第二是深度學(xué)習(xí)方法，對語句的語義信息進(jìn)行建模，學(xué)習(xí)為計算機(jī)可處理的結(jié)構(gòu)，從而對問句的語義進(jìn)行表示。我們的目標(biāo)是設(shè)計更合理的模型對問句的語義信息進(jìn)行精確表示，提高相似問句檢索的性能。

近年來深度學(xué)習(xí)方法被用來自動的從數(shù)據(jù)中抽取特征，最近的研究將問題看作是一系列詞的序列，然后用遞歸神經(jīng)網(wǎng)絡(luò)(遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是兩種人工神經(jīng)網(wǎng)絡(luò)的總稱，一種是時間遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)，另一種是結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)(Recursive Neural Network))對其建模，學(xué)習(xí)其語義特征。為了學(xué)習(xí)到句子中的重要成分對語義信息的影響，注意力(Attention)機(jī)制被用來學(xué)習(xí)句子中的重要部分，來增強(qiáng)問句的語義表示。通過計算得到的問句和候選答案的相似度來對候選答案進(jìn)行重新排序，選取能夠回答該問題的答案。

考慮到問題與答案之間往往存在知識關(guān)聯(lián)，例如問句“溫哥華位于什么地方”，如果有“溫哥華是加拿大的一個港口城市”這樣一條知識，那么就能從候選答案中選出包含加拿大這樣一個關(guān)鍵成分的答案。因此知識信息在候選答案選取任務(wù)中發(fā)揮著重要的作用。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種基于深度學(xué)習(xí)的候選答案選取方法，該方法在深度學(xué)習(xí)框架中引入一個知識記憶模塊來提高問句與候選答案之間的聯(lián)系，提高答案選取的質(zhì)量，以更好地應(yīng)用于社區(qū)問答網(wǎng)站和問答系統(tǒng)中。

根據(jù)本發(fā)明的一個方面，提供一種基于深度學(xué)習(xí)的候選答案選取方法，所述候選答案選取方法包括以下步驟：

步驟S1，輸入問句和候選答案，將輸入的問句解析為問句詞序列，將輸入的候選答案解析為候選答案詞序列；

步驟S2，通過長短時記憶網(wǎng)絡(luò)對問句詞序列和候選答案詞序列建模，得到問句的語義表示和候選答案的語義表示；

步驟S3，選取問句詞序列中權(quán)重值最高的詞的詞向量來初始化知識記憶模塊，所述知識記憶模塊中存儲有多條知識信息；

步驟S4，根據(jù)知識記憶模塊中存儲的知識信息和問句的語義表示，計算問句的知識表示；