[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的文檔自動(dòng)問答系統(tǒng)的構(gòu)建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711309921.6
• 申請(qǐng)日: 2017-12-11
• 公開（公告）號(hào): CN108052588B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 吳明暉;范旭民;金蒼宏;朱凡微;趙品通;方格格
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)城市學(xué)院
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/33;G06F16/335;G06N3/04
• 代理公司: 浙江杭州金通專利事務(wù)所有限公司 33100
• 代理人: 劉曉春

一種基于卷積神經(jīng)網(wǎng)絡(luò)的文檔自動(dòng)問答系統(tǒng)的構(gòu)建方法，包括以下步驟：步驟1，構(gòu)建主題文檔庫(kù)；步驟2，構(gòu)造詞向量模型；步驟3，主題匹配；步驟4，構(gòu)造詞向量矩陣；步驟5，基于卷積神經(jīng)網(wǎng)絡(luò)的語義模型進(jìn)行語義匹配；所述卷積神經(jīng)網(wǎng)絡(luò)的語義模型分為三層；第一層為卷積神經(jīng)網(wǎng)絡(luò)層；第二層為注意力層；第三層為全連接層；步驟6，答案選擇過程，選擇出匹配答案。本發(fā)明的方法無需手工構(gòu)建同義詞詞典，節(jié)省了大量的人力和時(shí)間成本，能夠在模型的訓(xùn)練過程中有目的性的對(duì)詞語上下文的語義進(jìn)行采樣，在網(wǎng)絡(luò)中加入注意力機(jī)制，提升某些具有代表性的詞語對(duì)整個(gè)句子語義的貢獻(xiàn)度。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理和人工智能領(lǐng)域，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)算法，提出了一種在深度學(xué)習(xí)算法大規(guī)模應(yīng)用于自然語言處理的背景下，對(duì)問題和答案進(jìn)行語義建模并進(jìn)行語義匹配的方案。

背景技術(shù)

自動(dòng)問答中最重要的就是句子語義匹配技術(shù)，傳統(tǒng)方法大多是在HowNet(知網(wǎng))，大規(guī)模詞典，哈工大同義詞詞林工具的基礎(chǔ)之上，構(gòu)建符合場(chǎng)景的規(guī)則組合來達(dá)到計(jì)算的目的。該類方法的優(yōu)點(diǎn)在于快速的建立計(jì)算模型，能有效利用單詞本身的語義，并快速調(diào)整模型，缺點(diǎn)在于該方法沒能有效利用詞語上下文的語義，甚至是整個(gè)句子或段落的語義。由此看來，傳統(tǒng)方法容易造成詞語上下文的語義丟失，所得結(jié)果無法準(zhǔn)確用于計(jì)算句子間的匹配度。

一些傳統(tǒng)的對(duì)句子進(jìn)行語義匹配的方法由于無法有效的利用詞語上下文的語義以及對(duì)人力和時(shí)間成本的高需求，在匹配效果上不及目前熱門的深度學(xué)習(xí)方法，難以適應(yīng)在數(shù)據(jù)量爆炸性增長(zhǎng)的互聯(lián)網(wǎng)經(jīng)濟(jì)時(shí)代背景下，企業(yè)對(duì)自動(dòng)問答技術(shù)的需求。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的文檔自動(dòng)問答系統(tǒng)的構(gòu)建方法。因此，本發(fā)明采用以下技術(shù)方案。

一種基于卷積神經(jīng)網(wǎng)絡(luò)的文檔自動(dòng)問答系統(tǒng)的構(gòu)建方法，包括以下步驟：

步驟1，構(gòu)建主題文檔庫(kù)；根據(jù)不同的應(yīng)用場(chǎng)景來建立主題文檔庫(kù)，所述主題文檔庫(kù)中包括k個(gè)主題文檔，針對(duì)k類問題；每個(gè)主題文檔對(duì)應(yīng)一個(gè)問題類型，是一個(gè)問題類型的備選答案集合；

步驟2，構(gòu)造詞向量模型；獲取語料，利用word2vec工具對(duì)語料進(jìn)行訓(xùn)練，得到詞向量模型，一個(gè)單詞對(duì)應(yīng)所述詞向量模型中的一個(gè)詞向量，L為詞向量的維度，所述詞向量可以表示單詞之間在多維空間中的距離，所述詞向量模型能夠準(zhǔn)確的表現(xiàn)單詞之間的語義相似度；

步驟3，主題匹配；接收用戶提出的第一問題，根據(jù)步驟1中構(gòu)建的主題文檔庫(kù)，對(duì)所述第一問題進(jìn)行分類，找出所述第一問題對(duì)應(yīng)的第一主題文檔，所述第一主題文檔中有n₁個(gè)備選答案；

步驟4，構(gòu)造詞向量矩陣；將第一問題劃分為m個(gè)單詞，根據(jù)步驟2中的詞向量模型，構(gòu)造第一問題矩陣A；根據(jù)步驟3中的主題匹配得到的第一主題文檔，將第一主題文檔中的備選答案劃分為m個(gè)單詞，根據(jù)步驟2中的詞向量模型，構(gòu)造n₁個(gè)第一答案矩陣Q，每個(gè)備選答案對(duì)應(yīng)一個(gè)第一答案矩陣；構(gòu)造n₁個(gè)詞向量矩陣M，其中M＝A，Q；

步驟5，基于卷積神經(jīng)網(wǎng)絡(luò)的語義模型進(jìn)行語義匹配；所述卷積神經(jīng)網(wǎng)絡(luò)的語義模型分為三層；

第一層為卷積神經(jīng)網(wǎng)絡(luò)層，所述卷積神經(jīng)網(wǎng)絡(luò)層的輸入為詞向量矩陣M，所述卷積神經(jīng)網(wǎng)絡(luò)層的卷積核的寬度為所述詞向量的維度，所述卷積核的數(shù)量為n₂；將詞向量矩陣M輸入到卷積神經(jīng)網(wǎng)絡(luò)層，得到n₂維的問題特征向量和n₂維的答案特征向量；取n₃種高度的卷積核，得到n₃個(gè)問題特征向量和答案特征向量；將n₃個(gè)問題特征向量組合成問題特征矩陣，將n₃個(gè)答案特征向量組合成答案特征矩陣；

第二層為注意力層，所述注意力層用于對(duì)所述問題特征向量和答案特征向量進(jìn)行加權(quán)；所述注意力層的輸入為問題特征矩陣和答案特征矩陣，輸出為問題句向量和答案句向量；