[發(fā)明專(zhuān)利]一種基于多叉樹(shù)結(jié)構(gòu)的非自回歸數(shù)學(xué)題求解器

在審

• 申請(qǐng)?zhí)枺?/td>: 202310433743.7
• 申請(qǐng)日: 2023-04-21
• 公開(kāi)（公告）號(hào): CN116401624A
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 楊陽(yáng);賓燚;韓孟群;史文浩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06F18/25
• 分類(lèi)號(hào): G06F18/25;G06F18/24;G06F18/214;G06N3/04;G06N3/08;G06F17/11
• 代理公司: 成都行之智信知識(shí)產(chǎn)權(quán)代理有限公司 51256
• 代理人: 溫利平

1.一種基于多叉樹(shù)結(jié)構(gòu)的非自回歸數(shù)學(xué)題求解器，采用編碼器-解碼器結(jié)構(gòu)，包括：

題目編碼模塊，用于對(duì)給定一個(gè)自然語(yǔ)言描述的數(shù)學(xué)題P＝{w₁,w₂,…,w_N}，其中，w_n表示第n個(gè)單詞，n＝1,2,…,N編碼為包含其上下文信息的分布式表示E_p、E_V，其中，E_p為整個(gè)數(shù)學(xué)題的題目表征，E_V是數(shù)學(xué)題的數(shù)字表征；

目標(biāo)驅(qū)動(dòng)的多叉樹(shù)生成模塊，為采用目標(biāo)驅(qū)動(dòng)機(jī)制的自頂向下的多叉樹(shù)生成器，利用題目表征E_p作為多叉樹(shù)的根目標(biāo)，遞歸地以自頂向下的方式生成子目標(biāo)，子目標(biāo)被分類(lèi)為操作數(shù)或操作符，當(dāng)子目標(biāo)是操作數(shù)時(shí)，直接得到當(dāng)前子目標(biāo)的結(jié)果，當(dāng)子目標(biāo)是操作符時(shí)還無(wú)法得到子目標(biāo)的結(jié)果，需要繼續(xù)向下分解，直到為子目標(biāo)是操作數(shù)為止；

其特征在于，還包括

非自回歸的目標(biāo)分解模塊，用于處理無(wú)序多分支分解工作：

首先對(duì)于子目標(biāo)分解過(guò)程中的父目標(biāo)E_g，首先將父目標(biāo)E_g與I個(gè)位置編碼p_i,i＝1,2,…,I進(jìn)行融合，得到融合后的目標(biāo)E_pos：

E_pos＝[E_g+p₁；E_g+p₂；…,E_g+p_I]；

然后，采用多頭自注意力機(jī)制進(jìn)行處理，即將目標(biāo)E_pos輸入到多頭自注意模塊進(jìn)行處理，得到輸出

其中，為多頭自注意模塊中可訓(xùn)練的參數(shù)矩陣；

然后，通過(guò)一個(gè)多頭互注意模塊連接多頭自注意模塊的輸出和候選集E_c，將輸出作為多頭互注意模塊的Q矩陣，將候選集E_c經(jīng)過(guò)一個(gè)前饋神經(jīng)網(wǎng)絡(luò)后與可訓(xùn)練參數(shù)相乘，得到多頭互注意模塊的K矩陣和V矩陣，這樣得到輸出

其中，d_k為編碼向量的維度，E_c候選集為：

即數(shù)字、操作符、常數(shù)以及特殊字符構(gòu)成，其中，E_V是題目編碼模塊的輸出，其余的E_op、E_con、E_N為可訓(xùn)練的編碼，N_b是一個(gè)特殊字符，用來(lái)表示子節(jié)點(diǎn)的數(shù)量；

輸出為上下文表示，用于通過(guò)指針網(wǎng)絡(luò)選擇最相關(guān)的候選集E_c中的候選字符，位置i選擇第j個(gè)候選字符的概率ω_ij為：

其中，W_p和W_b為學(xué)習(xí)參數(shù)，u為列權(quán)向量，和分別是第i個(gè)位置的向量表示和候選集第j個(gè)字符的向量表示；

這樣，得到第i個(gè)位置所有候選字符的概率分布Ptr_i：

Ptr_i＝softmax(ω_i)

其中，ω_i＝{ω_i1,ω_i2,…,ω_iJ},J是候選集E_c中的候選字符的數(shù)量；

所有概率分布Ptr_i按行構(gòu)成概率分布矩陣Ptr；在訓(xùn)練過(guò)程中，Ptr概率分布矩陣用于與真實(shí)數(shù)學(xué)題表達(dá)式計(jì)算交叉熵?fù)p失，來(lái)訓(xùn)練基于多叉樹(shù)結(jié)構(gòu)的非自回歸數(shù)學(xué)題求解器；在預(yù)測(cè)過(guò)程中，Ptr概率分布矩陣用于獲取各個(gè)位置上概率最大的字符，將其作為各個(gè)位置的預(yù)測(cè)字符，得到預(yù)測(cè)數(shù)學(xué)題表達(dá)式。