[發(fā)明專(zhuān)利]基于注意力機(jī)制的智能問(wèn)答方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010136545.0
• 申請(qǐng)日: 2020-03-02
• 公開(kāi)（公告）號(hào): CN111428012B
• 公開(kāi)（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 鄧悅;金戈;徐亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/332
• 分類(lèi)號(hào): G06F16/332;G06F16/35
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 程超

1.一種基于注意力機(jī)制的智能問(wèn)答方法，其特征在于，包括：

獲取提問(wèn)文本；

通過(guò)預(yù)設(shè)的多層注意力模型對(duì)所述提問(wèn)文本進(jìn)行處理，得到所述提問(wèn)文本的分類(lèi)結(jié)果，其中，所述多層注意力模型包括字編碼器、字注意力層、詞組編碼器、詞組注意力層、句編碼器、句注意力層、以及分類(lèi)器；

從預(yù)設(shè)的問(wèn)答知識(shí)庫(kù)中匹配與所述分類(lèi)結(jié)果對(duì)應(yīng)的答案并輸出所述答案；

所述通過(guò)預(yù)設(shè)的多層注意力模型對(duì)所述提問(wèn)文本進(jìn)行處理，包括：

獲取所述提問(wèn)文本中的全部分句；

獲取所述分句中全部預(yù)定數(shù)量個(gè)相鄰字，并根據(jù)所述預(yù)定數(shù)量個(gè)相鄰字構(gòu)成對(duì)應(yīng)的詞組；

通過(guò)所述字編碼器獲取所述提問(wèn)文本中每個(gè)字的字向量語(yǔ)義編碼；

通過(guò)所述字注意力層對(duì)每個(gè)所述詞組中每個(gè)字的所述字向量語(yǔ)義編碼進(jìn)行處理，以獲取每個(gè)所述詞組的詞組注意力向量；

通過(guò)所述詞組編碼器對(duì)每個(gè)所述詞組的詞組注意力向量進(jìn)行處理，以獲取每個(gè)所述詞組的詞組向量語(yǔ)義編碼；

通過(guò)所述詞組注意力層對(duì)每個(gè)所述分句中每個(gè)所述詞組的詞組向量語(yǔ)義編碼進(jìn)行處理，以獲取每個(gè)所述分句的句注意力向量；

通過(guò)所述句編碼器對(duì)每個(gè)所述分句的句注意力向量進(jìn)行處理，以獲取每個(gè)所述分句的句向量語(yǔ)義編碼；

通過(guò)所述句注意力層對(duì)每個(gè)所述分句的句向量語(yǔ)義編碼進(jìn)行處理，以獲取所述提問(wèn)文本的文本注意力向量；

通過(guò)所述分類(lèi)器對(duì)所述文本注意力向量進(jìn)行分類(lèi)處理，得到所述提問(wèn)文本的分類(lèi)結(jié)果；

所述通過(guò)所述字注意力層對(duì)每個(gè)所述詞組中每個(gè)字的所述字向量語(yǔ)義編碼進(jìn)行處理，以獲取每個(gè)所述詞組的詞組注意力向量，包括通過(guò)所述字注意力層執(zhí)行以下操作：

采用預(yù)設(shè)的第一線(xiàn)性層對(duì)每個(gè)所述詞組中每個(gè)字的字向量語(yǔ)義編碼進(jìn)行處理，得到每個(gè)所述詞組中每個(gè)字對(duì)應(yīng)的隱向量；

根據(jù)每個(gè)所述詞組中每個(gè)字對(duì)應(yīng)的隱向量，獲取每個(gè)所述詞組中每個(gè)字對(duì)應(yīng)的注意力權(quán)重；

根據(jù)每個(gè)所述詞組中每個(gè)字對(duì)應(yīng)的注意力權(quán)重，對(duì)每個(gè)所述詞組中每個(gè)字的字向量語(yǔ)義編碼進(jìn)行加權(quán)平均處理，得到每個(gè)所述詞組的詞組注意力向量；

所述通過(guò)所述詞組注意力層對(duì)每個(gè)所述分句中每個(gè)所述詞組的詞組向量語(yǔ)義編碼進(jìn)行處理，以獲取每個(gè)所述分句的句注意力向量，包括通過(guò)所述詞組注意力層執(zhí)行以下操作：

采用預(yù)設(shè)的第二線(xiàn)性層對(duì)每個(gè)所述分句中每個(gè)所述詞組的詞組向量語(yǔ)義編碼進(jìn)行處理，得到每個(gè)所述分句中每個(gè)所述詞組對(duì)應(yīng)的隱向量；

根據(jù)每個(gè)所述分句中每個(gè)所述詞組對(duì)應(yīng)的隱向量，獲取每個(gè)所述分句中每個(gè)所述詞組對(duì)應(yīng)的注意力權(quán)重；

根據(jù)每個(gè)所述分句中每個(gè)所述詞組對(duì)應(yīng)的注意力權(quán)重，對(duì)每個(gè)所述分句中每個(gè)所述詞組對(duì)應(yīng)的詞組向量語(yǔ)義編碼進(jìn)行加權(quán)平均處理，得到每個(gè)所述分句的句注意力向量。

2.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的智能問(wèn)答方法，其特征在于，所述獲取所述分句中全部預(yù)定數(shù)量個(gè)相鄰字，并根據(jù)所述預(yù)定數(shù)量個(gè)相鄰字構(gòu)成對(duì)應(yīng)的詞組包括：

以所述分句的第一個(gè)字為起點(diǎn)，以預(yù)定滑動(dòng)步長(zhǎng)向后滑動(dòng)預(yù)設(shè)的滑動(dòng)窗口，并在滑動(dòng)過(guò)程中提取所述滑動(dòng)窗口內(nèi)的相鄰字作為對(duì)應(yīng)所述分句中的詞組，直至所述滑動(dòng)窗口滑過(guò)所述分句中的每個(gè)字，其中所述滑動(dòng)窗口的長(zhǎng)度與所述預(yù)定數(shù)量一致。

3.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的智能問(wèn)答方法，其特征在于，所述通過(guò)所述字編碼器獲取所述提問(wèn)文本中每個(gè)字的字向量語(yǔ)義編碼，包括通過(guò)所述字編碼器執(zhí)行以下操作：

將所述提問(wèn)文本中的每個(gè)字分別轉(zhuǎn)換成對(duì)應(yīng)的字向量，并通過(guò)預(yù)設(shè)的第一雙向神經(jīng)網(wǎng)絡(luò)模型對(duì)所述每個(gè)字對(duì)應(yīng)的字向量進(jìn)行處理，得到所述每個(gè)字的字向量語(yǔ)義編碼。

4.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的智能問(wèn)答方法，其特征在于，所述通過(guò)所述詞組編碼器對(duì)每個(gè)所述詞組的詞組注意力向量進(jìn)行處理，以獲取每個(gè)所述詞組的詞組向量語(yǔ)義編碼，包括通過(guò)所述詞組編碼器執(zhí)行以下操作：

通過(guò)預(yù)設(shè)的第二雙向神經(jīng)網(wǎng)絡(luò)模型對(duì)每個(gè)所述詞組的詞組注意力向量進(jìn)行處理，得到每個(gè)所述詞組的詞組向量語(yǔ)義編碼。