[發(fā)明專利]語法依賴增強的數(shù)學應用題語義識別與推理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011517409.2
• 申請日: 2020-12-21
• 公開（公告）號: CN112613323A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設計）人: 陳恩紅;劉淇;林鑫;黃振亞;王皓
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/211;G06N3/04;G06N5/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種語法依賴增強的數(shù)學應用題語義識別與推理方法，其特征在于，包括：

將題目文本劃分為多個分句，采用一個層次化的單詞-分句-題目編碼器學習題目從局部到全局的語義信息表示，并且利用分句內關聯(lián)增強分句語義，建立語法依賴樹保存題目文本結構并建模分句內各元素間的結構依賴，最終得到題目文本對應的全局語義信息的表征；

采用基于樹結構的解碼器結合全局語義信息的表征，遞歸生成題目文本對應的數(shù)學表達式。

2.根據(jù)權利要求1所述的一種語法依賴增強的數(shù)學應用題語義識別與推理方法，其特征在于，所述將題目文本劃分為多個分句，采用一個層次化的單詞-分句-題目編碼器學習題目從局部到全局的語義信息表示包括：

對于題目文本P，表示為由n個詞組成的序列P＝{p₁，p₂，...，p_n}，其中的p_s都是一個詞，s＝1，...，n；按照逗號和句號將題目P劃分為m個分句每一個分句C_k中包含若干個詞p_s，k＝1，...，m，m為分句數(shù)目；

在單詞層，將每個詞p_s映射為等維度的詞向量x_s，并通過雙向門控循環(huán)單元得到每個詞p_s的語義表征h_s：

其中，GRU_f和GRU_b分別為建模前文信息和后文信息的門控循環(huán)單元，和分別為包含前文信息和后文信息的單詞p_s的語義表征，和分別為門控循環(huán)單元計算所需的上一個單詞的語義表征和下一個單詞的語義表征，語義表征h_s中包含p_s自身的語義信息和前后文兩個方向的上下文信息；

在分句層，根據(jù)分句的劃分，提取每個分句C_k中每個詞p_s的語義表征h_s，通過分句內關聯(lián)增強分句語義，建立語法依賴樹保存題目結構并建模分句內各元素間的結構依賴，并結合結構依賴關系得到分句C_k的語義表征

在題目層，基于每個分句C_k的語義表征結合分句間的語義依賴關系增強分句語義并獲取題目文本對應的全局語義信息的表征；首先，對每個分句C_k的語義表征通過可學習的位置編碼PE建模分句間的次序關系，獲得位置增強的分句表征

其中，PE(k)為表示第k個分句位置的編碼向量；

然后，通過自注意力機制從其他分句中抽取相關語義信息增強分句語義：建模分句間表征與其它每個分句表征的相關性S_as：

其中，s＝1，...，m；ReLU為線性整流函數(shù)，[.]表示向量的拼接操作，T為向量轉置運算，W_ss、W_sa和b_sa為可學習參數(shù)；

依據(jù)分句間相關性從其他分句中抽取相關語義信息

其中，s為抽取語義信息時每個分句的索引，α_s為從第s個分句中抽取語義信息的權重，k′為計算權重所需的分句索引；

通過相關語義信息增強分句C_k的語義表征得到包含分句內局部語義信息和其他分句的全局語義信息的分句表征

其中，W_so和b_so為可學習參數(shù)；

以最后一個分句C_m的語義表征作為題目文本對應的全局語義信息的表征