[發明專利]一種推理模型的訓練方法、裝置、電子設備及存儲介質

有效

• 申請號: 201811583983.0
• 申請日: 2018-12-24
• 公開（公告）號: CN109858627B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 金霄然
• 申請（專利權）人: 上海仁靜信息技術有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種推理模型的訓練方法，其特征在于，包括：

針對訓練樣本中的當前題目，獲取所述當前題目的當前題目狀態；

根據所述當前題目狀態在動作數據庫中獲取相關解題動作；

根據預設的規則和預設神經網絡模型在所述相關解題動作中選取當前待執行動作，包括：根據預先設定的與所述解題動作相關的抽取概率選出當前待執行動作，或者，通過在神經網絡模型中輸入當前題目狀態和各解題動作，預測所述各解題動作對應的收益，選取收益值最大的解題動作為當前待執行動作，或者，獲取一隨機數，當隨機數小于預設閾值時，從所述相關解題動作中隨機選擇一個動作作為當前待執行動作，當所述隨機數大于所述預設閾值時，通過在神經網絡模型中輸入當前題目狀態和各解題動作，預測所述各解題動作對應的收益，選取收益值最大的解題動作為當前待執行動作；

執行所述當前待執行動作，得到新的題目狀態；

將所述新的題目狀態作為當前題目的當前題目狀態，繼續選取并執行相應的當前待執行動作，直到滿足停止條件；

其中，所述題目狀態包括題目中的條件和問題。

2.根據權利要求1所述的方法，其特征在于，將所述新的題目狀態作為當前題目的當前題目狀態，繼續選取并執行相應的當前待執行動作，直到滿足停止條件之后，還包括：

當解題成功或失敗時，根據預設的收益規則計算所述推理模型的收益值；

將計算的收益值按照預設分配規則分配給解答所述當前題目所執行的各動作，以作為使用所述推理模型進行解題時選取動作的依據；

其中，所述解題成功包括：初始的題目條件滿足題目問題；所述解題不成功包括以下情況至少之一：

初始的題目條件不滿足題目問題；

推理步驟超過預設長度；

題目狀態的復雜度超過預設復雜度閾值。

3.根據權利要求1所述的方法，其特征在于，所述停止條件包括：推理完成和/或推理步驟超過預設步數；

在滿足停止條件之后，還包括：

獲取所述訓練樣本中下一題目對應的題目狀態進行模型訓練直至所述推理模型的推理成功率大于預設推理閾值率。

4.一種推理模型的訓練裝置，其特征在于，包括：

題目獲取模塊，用于針對訓練樣本中的當前題目，獲取所述當前題目的當前題目狀態；

動作選取模塊，用于根據所述當前題目狀態在動作數據庫中獲取相關解題動作，根據預設的規則和預設神經網絡模型在所述相關解題動作中選取當前待執行動作，包括：根據預先設定的與所述解題動作相關的抽取概率選出當前待執行動作，或者，通過在神經網絡模型中輸入當前題目狀態和各解題動作，預測所述各解題動作對應的收益，選取收益值最大的解題動作為當前待執行動作，或者，獲取一隨機數，當隨機數小于預設閾值時，從所述相關解題動作中隨機選擇一個動作作為當前待執行動作，當所述隨機數大于所述預設閾值時，通過在神經網絡模型中輸入當前題目狀態和各解題動作，預測所述各解題動作對應的收益，選取收益值最大的解題動作為當前待執行動作；

動作執行模塊，用于執行所述當前待執行動作，得到新的題目狀態；

重復執行模塊，用于將所述新的題目狀態作為當前題目的當前題目狀態，繼續選取并執行相應的當前待執行動作，直到滿足停止條件；

其中，所述題目狀態包括題目中的條件和問題。

5.一種電子設備，其特征在于，所述電子設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-3中任一所述的一種推理模型的訓練方法。

6.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-3中任一所述的一種推理模型的訓練方法。