[發(fā)明專利]問(wèn)答文本的語(yǔ)義匹配方法、裝置、介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201811563115.6
• 申請(qǐng)日: 2018-12-20
• 公開(kāi)（公告）號(hào): CN109726396A
• 公開(kāi)（公告）日: 2019-05-07
• 發(fā)明（設(shè)計(jì)）人: 李淵;賀國(guó)秀
• 申請(qǐng)（專利權(quán)）人: 泰康保險(xiǎn)集團(tuán)股份有限公司;泰康在線財(cái)產(chǎn)保險(xiǎn)股份有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F16/332;G06N3/04;G06N3/08
• 代理公司: 隆天知識(shí)產(chǎn)權(quán)代理有限公司 72003
• 代理人: 章侃銥;李玉鎖

本公開(kāi)提供了一種問(wèn)答文本的語(yǔ)義匹配方法，該方法可以有效地解決相關(guān)技術(shù)中的問(wèn)題。例如，在相關(guān)技術(shù)中基于深度學(xué)習(xí)模型的問(wèn)答文本語(yǔ)義匹配技術(shù)，其只能提供上下文局部語(yǔ)義特征信息，缺少背景全局特征信息和問(wèn)答文本的句法特征信息，導(dǎo)致特征單一化，不能完全體現(xiàn)問(wèn)答文本的語(yǔ)義匹配信息。而本發(fā)明提供了一種基于多級(jí)特征和深度學(xué)習(xí)的問(wèn)答文本語(yǔ)義匹配方法，對(duì)問(wèn)答文本的單詞和句法信息進(jìn)行單詞和句法結(jié)構(gòu)分布式表示，并使用循環(huán)神經(jīng)網(wǎng)絡(luò)提取問(wèn)答文本的上下文局部特征信息和句法結(jié)構(gòu)特征信息，然后運(yùn)用注意力機(jī)制抽取背景全局特征信息，使問(wèn)答文本的特征信息更豐富，從而提高問(wèn)答文本語(yǔ)義匹配的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，具體而言，涉及一種問(wèn)答文本的語(yǔ)義匹配方法、裝置、介質(zhì)及電子設(shè)備。

背景技術(shù)

目前，基于深度學(xué)習(xí)的問(wèn)答文本語(yǔ)義匹配的方法可以包含以下步驟：基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的詞嵌入模型對(duì)文本進(jìn)行詞向量表示，其表示語(yǔ)義能力更強(qiáng)。通過(guò)構(gòu)建長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)或門(mén)控循環(huán)單元GRU(Gated Recurrent Unit)等深度學(xué)習(xí)等模型對(duì)文本建模。雖然這些方法對(duì)特征選取依賴性較低，一定程度上提取了文本淺層語(yǔ)義信息和上下文局部特征，但不能提取大量重點(diǎn)全局特征和句法結(jié)構(gòu)特征，因此降低了問(wèn)答文本語(yǔ)義匹配的準(zhǔn)確性。

需要說(shuō)明的是，在上述背景技術(shù)部分公開(kāi)的信息僅用于加強(qiáng)對(duì)本發(fā)明的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種問(wèn)答文本的語(yǔ)義匹配方法、裝置、介質(zhì)及電子設(shè)備，進(jìn)而至少可以在一定程度上克服問(wèn)答文本語(yǔ)義匹配的準(zhǔn)確性較低的問(wèn)題。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明實(shí)施例的第一方面，提供了一種問(wèn)答文本的語(yǔ)義匹配方法，包括：利用循環(huán)神經(jīng)網(wǎng)絡(luò)獲取問(wèn)題文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列，以及獲取候選答案文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列；基于所述問(wèn)題文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列和所述問(wèn)題文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列中每個(gè)特征向量的注意力權(quán)重，生成所述問(wèn)題文本的具有上下文局部特征、句法結(jié)構(gòu)特征的和全局特征的特征向量，以及基于所述候選答案文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列和所述候選答案文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列中每個(gè)特征向量的注意力權(quán)重，生成所述候選答案文本的具有上下文局部特征、句法結(jié)構(gòu)特征的和全局特征的特征向量；根據(jù)所述問(wèn)題文本的具有上下文局部特征、句法結(jié)構(gòu)特征的和全局特征的特征向量和所述候選答案文本的具有上下文局部特征、句法結(jié)構(gòu)特征的和全局特征的特征向量，確定所述問(wèn)題文本與所述候選答案文本的語(yǔ)義匹配度。

在本發(fā)明的一些實(shí)施例中，在利用循環(huán)神經(jīng)網(wǎng)絡(luò)獲取問(wèn)題文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列，以及獲取候選答案文本的具有上下文局部特征和句法結(jié)構(gòu)特征的多級(jí)特征向量序列之前，該方法還包括：根據(jù)知識(shí)庫(kù)問(wèn)答文本語(yǔ)料構(gòu)建專業(yè)問(wèn)答詞典；根據(jù)所述專業(yè)問(wèn)答詞典對(duì)所述問(wèn)題文本和所述候選答案文本進(jìn)行分析，得到所述問(wèn)題文本的單詞、所述問(wèn)題文本的句法結(jié)構(gòu)和所述候選答案文本的單詞、所述候選答案文本的句法結(jié)構(gòu)；對(duì)所述問(wèn)題文本的單詞、所述問(wèn)題文本的句法結(jié)構(gòu)和所述候選答案文本的單詞、所述候選答案文本的句法結(jié)構(gòu)分別進(jìn)行分布式表示，得到問(wèn)題文本的詞向量和句法結(jié)構(gòu)向量組成的向量序列和候選答案文本的詞向量和句法結(jié)構(gòu)向量組成的向量序列。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述循環(huán)神經(jīng)網(wǎng)絡(luò)包括雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，所述雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中的循環(huán)神經(jīng)網(wǎng)絡(luò)包括基于長(zhǎng)短時(shí)記憶LSTM和/或基于門(mén)控循環(huán)單元GRU的網(wǎng)絡(luò)。