[發(fā)明專利]一種基于多叉樹(shù)結(jié)構(gòu)的非自回歸數(shù)學(xué)題求解器

在審

• 申請(qǐng)?zhí)枺?/td>: 202310433743.7
• 申請(qǐng)日: 2023-04-21
• 公開(kāi)（公告）號(hào): CN116401624A
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 楊陽(yáng);賓燚;韓孟群;史文浩
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06F18/25
• 分類號(hào): G06F18/25;G06F18/24;G06F18/214;G06N3/04;G06N3/08;G06F17/11
• 代理公司: 成都行之智信知識(shí)產(chǎn)權(quán)代理有限公司 51256
• 代理人: 溫利平

本發(fā)明公開(kāi)了一種基于多叉樹(shù)結(jié)構(gòu)的非自回歸數(shù)學(xué)題求解器，在現(xiàn)有題目編碼模塊以及目標(biāo)驅(qū)動(dòng)的多叉樹(shù)生成模塊的基礎(chǔ)上，增加非自回歸的目標(biāo)分解模塊，用于處理無(wú)序多分支分解工作，首先將父目標(biāo)E_g與I個(gè)位置編碼p_i,i＝1,2,…,I進(jìn)行融合，然后采用多頭自注意力機(jī)制進(jìn)行處理，再用一個(gè)多頭互注意模塊連接多頭自注意模塊的輸出和候選集E_c，得到上下文表示最后根據(jù)上下文表示以及候選集E_c，通過(guò)指針網(wǎng)絡(luò)選擇最相關(guān)的候選集E_c中的候選字符，得到概率分布矩陣Ptr，用于計(jì)算訓(xùn)練過(guò)程中的交叉熵?fù)p失以及預(yù)測(cè)過(guò)程中的預(yù)測(cè)數(shù)學(xué)題表達(dá)式。本發(fā)明通過(guò)非自回歸的目標(biāo)分解模塊用于處理無(wú)序多分支分解工作，探索和捕捉數(shù)字之間的關(guān)系，提高了數(shù)學(xué)題求解器的性能。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)學(xué)題求解器技術(shù)領(lǐng)域，更為具體地講，涉及一種基于多叉樹(shù)結(jié)構(gòu)的非自回歸數(shù)學(xué)題求解器。

背景技術(shù)

自動(dòng)求解數(shù)學(xué)題(Math?Word?Problem，MWP)是機(jī)器推理的一個(gè)重要子問(wèn)題。對(duì)于一個(gè)數(shù)學(xué)題求解器，需要依據(jù)給定的問(wèn)題描述和數(shù)學(xué)先驗(yàn)知識(shí)，生成符合規(guī)范可計(jì)算的解題等式。更具體地講，給定一個(gè)數(shù)學(xué)題目，這個(gè)題目由文本描述構(gòu)成，文本中包含數(shù)字q₁,q₂,…,q_n以及某些數(shù)學(xué)定義，需要讓模型自動(dòng)地給出解題的表達(dá)式，并通過(guò)這個(gè)表達(dá)式來(lái)計(jì)算題目最終的答案。數(shù)學(xué)題求解任務(wù)涉及對(duì)自然語(yǔ)言文本的深入理解、機(jī)器智能的推理能力、可解釋性等人工智能研究中的核心問(wèn)題。作為機(jī)器智能的一個(gè)重要的測(cè)試基準(zhǔn)，數(shù)學(xué)題求解一直以來(lái)都受到很多研究者的關(guān)注。

數(shù)學(xué)題求解任務(wù)自提出以來(lái)，經(jīng)歷了好幾個(gè)階段。包括早期的基于模板的方法、基于統(tǒng)計(jì)的方法以及直到后來(lái)的基于深度學(xué)習(xí)的方法。基于統(tǒng)計(jì)和模板的方法嚴(yán)重依賴人工標(biāo)注和統(tǒng)計(jì)，且定義的模型缺乏泛化性。在高性能計(jì)算機(jī)設(shè)備和互聯(lián)網(wǎng)海量數(shù)據(jù)的輔助下，深度學(xué)習(xí)取得了長(zhǎng)足的進(jìn)步，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的方法也被應(yīng)用到了數(shù)學(xué)題求解任務(wù)中，一大批模型在數(shù)學(xué)題求解任務(wù)中取得了驚人的表現(xiàn)。自2019年樹(shù)解碼器被提出以來(lái)，樹(shù)解碼器就被廣泛應(yīng)用于數(shù)學(xué)題求解任務(wù)中，成為了主流方法。

樹(shù)形結(jié)構(gòu)天然具有表示數(shù)學(xué)表達(dá)式的優(yōu)勢(shì)，樹(shù)的深度可以對(duì)應(yīng)數(shù)學(xué)表達(dá)式中運(yùn)算的優(yōu)先級(jí)，使得優(yōu)先級(jí)較高的運(yùn)算放在較低的層次上，樹(shù)的根節(jié)點(diǎn)即為優(yōu)先級(jí)最低的算子。樹(shù)形結(jié)構(gòu)首先具備數(shù)學(xué)表達(dá)式的結(jié)構(gòu)信息，樹(shù)解碼器可以通過(guò)自頂向下的方式來(lái)生成目標(biāo)表達(dá)式，并形成一棵表達(dá)式樹(shù)。自頂向下的方法可以理解為將題目問(wèn)題不斷拆分為子問(wèn)題，通過(guò)對(duì)子問(wèn)題的不斷求解最終得到題目的答案，這是符合人類直覺(jué)的解題方法，具有很好的可解釋性。在拆分過(guò)程中產(chǎn)生的子表達(dá)式其實(shí)就是題目中的中間變量，因此樹(shù)解碼器可以很好的表示數(shù)學(xué)題的結(jié)構(gòu)信息。

現(xiàn)有的數(shù)學(xué)題求解器大多遵循編碼器-解碼器的架構(gòu)，這種架構(gòu)的求解過(guò)程是將基于自然語(yǔ)言的問(wèn)題描述翻譯為基于符號(hào)語(yǔ)言的數(shù)學(xué)描述(求解表達(dá)式)的過(guò)程。在這樣的架構(gòu)下，數(shù)學(xué)題求解器的改進(jìn)也可以主要總結(jié)為對(duì)編碼器的改進(jìn)和解碼器的改進(jìn)兩大類。

對(duì)于編碼器而言，關(guān)鍵是要增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型對(duì)于問(wèn)題文本描述的理解，此外，數(shù)學(xué)題需要大量外部的數(shù)學(xué)先驗(yàn)和常識(shí)先驗(yàn)知識(shí)，如何將這些先驗(yàn)知識(shí)融入編碼，以幫助模型更好的理解題目，也是改善模型編碼器的重要方面。