[發(fā)明專利]一種推理模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811583983.0
• 申請日: 2018-12-24
• 公開（公告）號: CN109858627B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 金霄然
• 申請（專利權(quán)）人: 上海仁靜信息技術(shù)有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本公開實(shí)施例公開了一種推理模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)，該推理模型的訓(xùn)練方法包括：通過針對訓(xùn)練樣本中的當(dāng)前題目，獲取所述當(dāng)前題目的當(dāng)前題目狀態(tài)；根據(jù)所述當(dāng)前題目狀態(tài)選取當(dāng)前待執(zhí)行動作；執(zhí)行所述當(dāng)前待執(zhí)行動作，得到新的題目狀態(tài)；將所述新的題目狀態(tài)作為當(dāng)前題目的當(dāng)前題目狀態(tài)，繼續(xù)選取并執(zhí)行相應(yīng)的當(dāng)前待執(zhí)行動作，直到滿足停止條件，這樣的技術(shù)方案可以使推理模型能夠不斷積累解題經(jīng)驗(yàn)，優(yōu)化推理的準(zhǔn)確率，訓(xùn)練出的推理模型在實(shí)際使用中可以實(shí)現(xiàn)對復(fù)雜初等數(shù)學(xué)題目的自動推理。

技術(shù)領(lǐng)域

本公開涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種推理模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

自動推理是機(jī)器解題的核心技術(shù)之一，是根據(jù)題目給定的條件、問題以及系統(tǒng)內(nèi)部定義的一系列動作(推理規(guī)則)，通過執(zhí)行動作對條件和問題不斷進(jìn)行變化，直到新的條件滿足新的問題，即找出可行的解題路徑。

目前的推理技術(shù)主要是基于前推、后推和雙向搜索推理方法。這三種推理方法主要存在的問題是搜索空間隨著條件、問題和推理規(guī)則的數(shù)量增加而幾何級增長，因此只能用解決一些簡單的推理問題。雖然在一些特定領(lǐng)域可以通過針對性設(shè)計(jì)獨(dú)特的推理策略和優(yōu)化方法，如幾何推理的消點(diǎn)法，解決特定領(lǐng)域的復(fù)雜問題。但是這些方法局限于自身的領(lǐng)域無法推廣，同時(shí)，這些方法依靠特定機(jī)械的方法和策略，無法達(dá)到類似人一樣的推理的靈活性。

發(fā)明內(nèi)容

本公開提供一種推理模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)，可以實(shí)現(xiàn)對題目的自動推理。

第一方面，本公開實(shí)施例提供了一種推理模型的訓(xùn)練方法，包括：

針對訓(xùn)練樣本中的當(dāng)前題目，獲取所述當(dāng)前題目的當(dāng)前題目狀態(tài)；

根據(jù)所述當(dāng)前題目狀態(tài)選取當(dāng)前待執(zhí)行動作；

執(zhí)行所述當(dāng)前待執(zhí)行動作，得到新的題目狀態(tài)；

將所述新的題目狀態(tài)作為當(dāng)前題目的當(dāng)前題目狀態(tài)，繼續(xù)選取并執(zhí)行相應(yīng)的當(dāng)前待執(zhí)行動作，直到滿足停止條件；

其中，所述題目狀態(tài)包括題目中的條件和問題。

進(jìn)一步的，根據(jù)所述當(dāng)前題目狀態(tài)選取當(dāng)前待執(zhí)行動作，包括：

根據(jù)所述當(dāng)前題目狀態(tài)在動作數(shù)據(jù)庫中獲取相關(guān)解題動作；

根據(jù)預(yù)設(shè)的規(guī)則在所述相關(guān)解題動作中選取當(dāng)前待執(zhí)行動作。

進(jìn)一步的，將所述新的題目狀態(tài)作為當(dāng)前題目的當(dāng)前題目狀態(tài)，繼續(xù)選取并執(zhí)行相應(yīng)的當(dāng)前待執(zhí)行動作，直到滿足停止條件之后，還包括：

當(dāng)解題成功或失敗時(shí)，根據(jù)預(yù)設(shè)的收益規(guī)則計(jì)算所述推理模型的收益值；

其中，所述解題成功包括：初始的題目條件滿足題目問題時(shí)；所述解答不成功包括以下情況至少之一：

初始的題目條件不滿足題目問題；

推理步驟超過預(yù)設(shè)長度；

題目狀態(tài)的復(fù)雜度超過預(yù)設(shè)復(fù)雜度閾值。

進(jìn)一步的，根據(jù)預(yù)設(shè)的規(guī)則在所述相關(guān)解題動作中選取當(dāng)前待執(zhí)行動作，包括：

根據(jù)預(yù)先設(shè)定的與所述解題動作相關(guān)的抽取概率選出當(dāng)前待執(zhí)行動作。

進(jìn)一步的，根據(jù)預(yù)設(shè)的規(guī)則在所述相關(guān)解題動作中選取當(dāng)前待執(zhí)行動作，包括：

通過在神經(jīng)網(wǎng)絡(luò)模型中輸入當(dāng)前題目狀態(tài)和各解題動作，預(yù)測所述各解題動作對應(yīng)的收益；

選取收益值最大的解題動作為當(dāng)前待執(zhí)行動作。

進(jìn)一步的，根據(jù)預(yù)設(shè)的規(guī)則在所述相關(guān)解題動作中選取當(dāng)前待執(zhí)行動作，包括：