[發(fā)明專利]問答匹配系統(tǒng)和方法及問答處理設(shè)備和介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811340892.4
• 申請日: 2018-11-12
• 公開（公告）號: CN111177328B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計）人: 方晗吟;劉洋;蔣冠軍
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F16/33;G06N3/0464
• 代理公司: 北京展翼知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11452
• 代理人: 屠長存

本發(fā)明公開了問答匹配系統(tǒng)和方法及問答處理設(shè)備和介質(zhì)。一種問答匹配系統(tǒng)，包括卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)包括：分別處于問詢側(cè)和答案側(cè)的詞嵌入層，被配置為在該層利用預(yù)訓(xùn)練的用于表述基礎(chǔ)特征的統(tǒng)一詞向量來對輸入的問詢和對應(yīng)于該問詢的至少一個備選答案之一分別進(jìn)行初始化，以得到所述問詢和相應(yīng)備選答案的向量表述；分別處于問詢側(cè)和答案側(cè)的卷積層，被配置為對所述的問詢的特征表述和所述相應(yīng)備選答案的特征表述進(jìn)行卷積操作以提取特征；以及全連接層，問詢側(cè)和答案側(cè)的卷積結(jié)果均輸入全連接層，并從全連接層輸出匹配結(jié)果，其中，兩個詞嵌入層共享預(yù)訓(xùn)練的所述詞向量，而兩個卷積層不共享權(quán)重參數(shù)和偏置參數(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及信息檢索領(lǐng)域，尤其涉及智能化業(yè)務(wù)場景下的問答匹配系統(tǒng)和方法及問答處理設(shè)備和介質(zhì)。

背景技術(shù)

在智能化業(yè)務(wù)場景中，存在著大量的一問一答需求，即，用戶輸入一個問詢(query，例如用戶的輸入請求串)，希望得到一個簡短的答案來滿足獲取信息的需求。在解決這一問題的過程中，一個重要的中間步驟是如何判斷一個短答案(例如單個句子的形式)是否與用戶的問詢相匹配。

已有的傳統(tǒng)方法主要基于人工規(guī)則特征，例如，實體識別(Named?EntityRecognition，簡稱NER)結(jié)果、詞頻-逆文檔頻率(Term?Frequency-Inverse?DocumentFrequency，即TF-IDF)以及模板匹配等，這些方法具有以下缺陷：

1)需要大量的人力來觀察樣本然后設(shè)計規(guī)則特征；

2)不同特征之間的表達(dá)能力參差不齊，在海量數(shù)據(jù)上的泛化能力不足；

3)模型整體效果受限于前期特征提取模型的準(zhǔn)確率，例如，NER模型。

發(fā)明內(nèi)容

為了解決以上問題之一，本發(fā)明提供了問答匹配系統(tǒng)和方法及問答處理設(shè)備和介質(zhì)。

本發(fā)明提供一種問答匹配系統(tǒng)，用于針對用戶的問詢來提供匹配的答案，該系統(tǒng)包括卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)包括：分別處于問詢側(cè)和答案側(cè)的詞嵌入層，被配置為在該層利用預(yù)訓(xùn)練的用于表述基礎(chǔ)特征的統(tǒng)一詞向量來對輸入的問詢和對應(yīng)于該問詢的至少一個備選答案之一分別進(jìn)行初始化，以得到所述問詢和相應(yīng)備選答案的向量表述；分別處于問詢側(cè)和答案側(cè)的卷積層，被配置為對所述的問詢的特征表述和所述相應(yīng)備選答案的特征表述進(jìn)行卷積操作以提取特征；以及全連接層，經(jīng)過卷積層卷積之后的問詢側(cè)和答案側(cè)的卷積結(jié)果均輸入全連接層，并從全連接層輸出匹配結(jié)果，其中，所述問詢側(cè)和答案側(cè)的兩個詞嵌入層共享預(yù)訓(xùn)練的所述詞向量，而所述問詢側(cè)和答案側(cè)的兩個卷積層不共享配置參數(shù)。

可選地，兩個卷積層不共享的配置參數(shù)包括權(quán)重參數(shù)和/或偏置參數(shù)。

可選地，所述問答匹配系統(tǒng)利用預(yù)先構(gòu)造的數(shù)據(jù)集中的正負(fù)樣本作為訓(xùn)練數(shù)據(jù)來端到端地訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，由此得到與用戶的問詢匹配的答案。

可選地，所述問答匹配系統(tǒng)還包括數(shù)據(jù)集構(gòu)建模塊，該數(shù)據(jù)集構(gòu)建模塊被配置為從已有的問答數(shù)據(jù)中獲取問詢和與其對應(yīng)的最佳答案并組成一對正樣本，并將從問答數(shù)據(jù)中非該問詢的答案中隨機(jī)采樣到的答案作為負(fù)樣本，還從問答數(shù)據(jù)中采樣與該問詢的字面相似的答案作為負(fù)樣本，從而構(gòu)造出該問詢對應(yīng)的數(shù)據(jù)集，并將構(gòu)造的數(shù)據(jù)集應(yīng)用于所述卷積神經(jīng)網(wǎng)絡(luò)。

可選地，所述問答匹配系統(tǒng)還包括詞向量預(yù)訓(xùn)練模塊，該詞向量預(yù)訓(xùn)練模塊被配置為收集用戶輸入的問詢數(shù)據(jù)作為訓(xùn)練詞向量的一個語料來源，然后結(jié)合作為訓(xùn)練詞向量的另一個語料來源的百科數(shù)據(jù)，采用詞向量嵌入方法來訓(xùn)練得到詞向量。

可選地，所述詞向量預(yù)訓(xùn)練模塊在收集用戶問詢時，根據(jù)查詢次數(shù)來過濾問詢。