[發(fā)明專利]一種非事實(shí)類問(wèn)答答案選擇方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810427636.2
• 申請(qǐng)日: 2018-05-07
• 公開(kāi)（公告）號(hào): CN108829719B
• 公開(kāi)（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 馬榮強(qiáng);張健;李淼;陳雷;高會(huì)議
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/36;G06F40/211;G06F40/30
• 代理公司: 合肥天明專利事務(wù)所(普通合伙) 34115
• 代理人: 奚華保

1.一種非事實(shí)類問(wèn)答答案選擇方法，其特征在于，包括：

采用基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)問(wèn)句、待選擇答案語(yǔ)句進(jìn)行處理，得到第一語(yǔ)義向量、第二語(yǔ)義向量，其中，第一語(yǔ)義向量表示問(wèn)句的語(yǔ)義向量，第二語(yǔ)義向量表示待選擇的答案語(yǔ)句的語(yǔ)義向量；

將所述第一語(yǔ)義向量與所述第二語(yǔ)義向量進(jìn)行匹配，并將匹配度最高的第二語(yǔ)義向量所對(duì)應(yīng)的待選擇答案語(yǔ)句作為正確答案返回；

所述基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)采用卷積前后注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，卷積前后注意力機(jī)制具體為：

在所述卷積神經(jīng)網(wǎng)絡(luò)模型的每個(gè)池化層之后加入注意力機(jī)制，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行修改；

將修改后的卷積神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果作為問(wèn)句或待選擇答案語(yǔ)句的語(yǔ)義向量；

還包括：將所述第二語(yǔ)義向量輸入到BiLSTM網(wǎng)絡(luò)中，得到優(yōu)化后的第二語(yǔ)義向量；

將所述第一語(yǔ)義向量與所述優(yōu)化后的第二語(yǔ)義向量進(jìn)行匹配，并將匹配度最高的優(yōu)化后的第二語(yǔ)義向量所對(duì)應(yīng)的待選擇答案語(yǔ)句作為正確答案返回。

2.如權(quán)利要求1所述的非事實(shí)類問(wèn)答答案選擇方法，其特征在于，所述的基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)包括：卷積前注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)、卷積后注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)以及卷積前后注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)。

3.如權(quán)利要求2所述的非事實(shí)類問(wèn)答答案選擇方法，其特征在于，所述卷積前注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)具體為：

在卷積神經(jīng)網(wǎng)絡(luò)模型輸入端，根據(jù)問(wèn)句在卷積層的原輸入表示層、答案語(yǔ)句在卷積層的原輸入表示層，得到第一注意力矩陣，其中，第一注意力矩陣中第i行第j個(gè)元素表示問(wèn)句在卷積層的原輸入表示層中的第i個(gè)向量與答案語(yǔ)句在卷積層的原輸入表示層中第j個(gè)向量的相似度；

根據(jù)第一注意力矩陣以及設(shè)定的第一注意力參數(shù)矩陣，計(jì)算第一注意力表示層，以及根據(jù)第一注意力矩陣以及設(shè)定的第二注意力參數(shù)矩陣，計(jì)算第二注意力表示層；

將所述第一注意力表示層和所述第二注意力表示層作為卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，將卷積神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果作為問(wèn)句或待選擇答案語(yǔ)句的語(yǔ)義向量。

4.如權(quán)利要求3所述的非事實(shí)類問(wèn)答答案選擇方法，其特征在于，所述卷積后的注意力機(jī)制具體為：

在所述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出端，根據(jù)其輸出結(jié)果，得到第二注意力矩陣；

對(duì)第二注意力矩陣的行求和，并將行求和結(jié)果作為問(wèn)句的注意力向量；

對(duì)第二注意力矩陣的列求和，并將列求和結(jié)果作為答案語(yǔ)句的注意力向量；

使用問(wèn)句的注意力向量、答案語(yǔ)句的注意力向量分別知道卷積神經(jīng)網(wǎng)絡(luò)模型的池化過(guò)程，將得到的繪畫(huà)結(jié)果作為問(wèn)句或待選擇答案語(yǔ)句的語(yǔ)義向量。

5.一種非事實(shí)類問(wèn)答答案選擇系統(tǒng)，其特征在于，包括處理模塊和匹配模塊，處理模塊的輸出端與匹配模塊連接；

處理模塊，用于采用基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)問(wèn)句、待選擇答案語(yǔ)句進(jìn)行處理，得到第一語(yǔ)義向量、第二語(yǔ)義向量，其中，第一語(yǔ)義向量表示問(wèn)句的語(yǔ)義向量，第二語(yǔ)義向量表示待選擇的答案語(yǔ)句的語(yǔ)義向量；

匹配模塊，用于將所述第一語(yǔ)義向量與所述第二語(yǔ)義向量進(jìn)行匹配，并將匹配度最高的第二語(yǔ)義向量所對(duì)應(yīng)的待選擇答案語(yǔ)句作為正確答案返回；

所述基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)采用卷積前后注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，卷積前后注意力機(jī)制具體為：

在所述卷積神經(jīng)網(wǎng)絡(luò)模型的每個(gè)池化層之后加入注意力機(jī)制，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行修改；

將修改后的卷積神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果作為問(wèn)句或待選擇答案語(yǔ)句的語(yǔ)義向量；

還包括與優(yōu)化模塊，優(yōu)化模塊的輸入端與所述處理模塊連接、輸出端與所述匹配模塊連接；

優(yōu)化模塊，用于將所述處理模塊輸出的所述第二語(yǔ)義向量輸入到BiLSTM網(wǎng)絡(luò)中，得到優(yōu)化后的第二語(yǔ)義向量；

相應(yīng)地，所述優(yōu)化模塊，用于將所述第一語(yǔ)義向量與所述優(yōu)化后的第二語(yǔ)義向量進(jìn)行匹配，并將匹配度最高的優(yōu)化后的第二語(yǔ)義向量所對(duì)應(yīng)的待選擇答案語(yǔ)句作為正確答案返回。

6.如權(quán)利要求5所述的非事實(shí)類問(wèn)答答案選擇系統(tǒng)，其特征在于，所述的基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)包括：卷積前的注意力機(jī)制、卷積后的注意力機(jī)制以及卷積前后注意力機(jī)制。