[發(fā)明專利]一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法及裝置

在審

• 申請?zhí)枺?/td>: 202110706956.3
• 申請日: 2021-06-24
• 公開（公告）號: CN113326692A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計）人: 方凡;周興發(fā);饒璐;譚斌;楊蘭;李煥;孫銳;展華益
• 申請（專利權(quán)）人: 四川啟睿克科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/151;G06N3/04;G06N3/08
• 代理公司: 四川省成都市天策商標(biāo)專利事務(wù)所 51213
• 代理人: 劉興亮

1.一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法，其特征在于，包括以下步驟：

A、獲取語義編碼序列：把機(jī)器閱讀理解的文本和問題轉(zhuǎn)化為詞向量，同時引入額外特征，將額外特征轉(zhuǎn)化為向量，并與文本和問題的詞向量進(jìn)行拼接，得到文本和問題的語義編碼；

B、文本和問題的交互：利用注意力機(jī)制對文本和問題進(jìn)行交互，為文本編碼引入問題信息，得到文本的交互編碼；

C、構(gòu)建依存句法圖：利用依存句法分析獲取文本每個句子的依存句法樹，進(jìn)而構(gòu)建整個文本的依存句法圖；

D、構(gòu)建文本的圖表征：基于文本的依存句法圖，結(jié)合文本的交互編碼，構(gòu)建文本的依存句法圖的圖表征；

E、生成答案：根據(jù)文本的依存句法圖表征生成答案。

2.如權(quán)利要求1所述的一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法，其特征在于，步驟A中文本和問題的詞向量，包括：隨機(jī)初始化的詞向量，或基于深度學(xué)習(xí)的語言模型訓(xùn)練得到的詞向量；

步驟A中引入的額外特征，包括：詞性標(biāo)簽、實體標(biāo)簽、問題類型特征。

3.如權(quán)利要求1所述的一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法，其特征在于，步驟A中額外特征的向量化方法，包括：通過隨機(jī)初始化的嵌入層進(jìn)行映射得到特征向量，嵌入層的參數(shù)會在訓(xùn)練過程中不斷優(yōu)化。

4.如權(quán)利要求1所述的一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法，其特征在于，步驟B中文本和問題的交互方法，包括：對步驟A中得到的文本和問題的語義編碼進(jìn)行基于注意力機(jī)制的交互對齊方法，注意力可以是單向或雙向注意力，文本和問題的交互可以重復(fù)多次。

5.如權(quán)利要求1所述的一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法，其特征在于，步驟C中對句子進(jìn)行依存句法分析的方法，包括：基于規(guī)則的方法，基于統(tǒng)計的方法，或基于深度學(xué)習(xí)的方法；

步驟C中構(gòu)建整個文本的依存句法圖的方法包括：多棵依存句法樹合并為依存句法圖。

6.如權(quán)利要求1所述的一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法，其特征在于，步驟D中基于依存句法圖構(gòu)建文本圖表征的方法，包括：利用自回歸模型迭代計算文本圖表征的方法，文本圖表征融合的方法。

7.如權(quán)利要求1所述的一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解方法，其特征在于，步驟E中所述生成答案的方法，包括：基于循環(huán)神經(jīng)網(wǎng)絡(luò)的答案生成模塊，文本表征和循環(huán)神經(jīng)網(wǎng)絡(luò)輸出之間的注意力交互機(jī)制；

步驟E中所述生成的答案，包括：多項選擇式的答案，片段抽取式的答案，或生成式的答案。

8.一種考慮句法結(jié)構(gòu)的機(jī)器閱讀理解裝置，其特征在于，包括：

語義編碼模塊，用于對閱讀理解的文本和問題進(jìn)行分詞、詞向量化、特征提取和特征向量拼接；

文本與問題交互模塊，用于將問題編碼與文本編碼進(jìn)行交互對齊，得到包含問題信息的文本向量；

句法分析模塊，用于對文本進(jìn)行依存句法分析，生成對應(yīng)的依存句法圖；

文本圖表征構(gòu)建模塊，用于構(gòu)建文本的基于依存句法關(guān)系的圖表征；

答案生成模塊，用于根據(jù)文本的圖表征生成對應(yīng)問題的答案。