[發明專利]一種針對數學問題分類的預訓練模型方法

在審

• 申請號: 202010470913.5
• 申請日: 2020-05-28
• 公開（公告）號: CN111563166A
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 王偉松;于業江;鄭歡;阮濤
• 申請（專利權）人: 浙江學海教育科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06Q10/04;G06Q50/20
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 唐超文

本發明公開了一種針對數學問題分類的預訓練模型方法，包括如下步驟：構建數學知識點關系的知識圖譜，根據每個知識點之間的關系，對知識圖譜中的每個知識點生成知識點向量；分別根據訓練集和驗證集中的數學問題生成文本向量，將文本向量和知識點向量導入并構建文本預訓練模型，包括語義掩碼語言模型訓練、相關問題預測模型訓練和問題相關性排序訓練；將測試集導入預訓練模型，對處理后的數學題目進行預測和輸出結果。本發明集成了知識圖譜，并提出了新穎的掩蔽和預測策略來增強知識點表示，使預測效果更加準確；模型使用知識嵌入算法編碼知識圖譜的圖結構，并將多信息嵌入作為模型的輸入，大大提高了預訓練的準確度。

技術領域

本發明涉及一種數學問題預測技術，尤其涉及一種針對數學問題分類的預訓練模型方法。

背景技術

如何教授數學中的概念性和過程性知識是教學的熱點。程序性知識是“僅涉及記憶操作而不了解基本含義的學習”；概念知識是“對管轄領域的原理以及領域中知識之間的相互關系的明確或隱含的理解”。根據數學知識，我們可以設計基于過程知識或基于概念知識的問題。因此，在教與學方面，知識點具有許多優勢，例如開發自動生成測試系統，測量學生的學習能力或影響基于實踐的數學知識教學理論（MKT）。

預測合適的知識指向問題并非易事，這主要有三個挑戰：（1）短上下文分類：對于給定的數學問題，上下文的長度通常比原始文本分類任務短，如何在如此短的文本中學習，尤其是在預培訓過程中，是一個重要的問題；（2）數學知識點編碼：在語言模型問題分類任務中，應提取數學知識圖中的知識點和關系并進行編碼；（3）異構信息學習：數學問題既包含正常內容又包含數學關鍵詞，導致兩個單獨的向量空間。在一個問題中將數學的詞匯、句法和關鍵詞與正常上下文區分開，并且在預訓練和微調過程中將這兩個不同的內容融合在一起是非常困難的。

發明內容

為了克服現有技術的不足，本發明的目的之一在于提供一種針對數學問題分類的預訓練模型方法，其能解決預測效果不準確的問題。

本發明的目的之一采用以下技術方案實現：

一種針對數學問題分類的預訓練模型方法，包括如下步驟：

構建數學知識點關系的知識圖譜，根據每個知識點之間的關系，對知識圖譜中的每個知識點生成知識點向量；

分別根據訓練集和驗證集中的數學問題生成文本向量，將文本向量和知識點向量導入并構建文本預訓練模型，包括語義掩碼語言模型訓練、相關問題預測模型訓練和問題相關性排序訓練；

將測試集導入預訓練模型，對處理后的數學題目進行預測和輸出結果。

進一步地，對知識圖譜中的每個知識點生成知識點向量，步驟包括：根據輸入知識圖譜內容，將知識點與知識之間的關系通過向量來表示，當關系成立時，通過平移距離模型將相同空間R^d中將關系轉化為向量，得到向量關系句子公式為：

e_i + r≈e_j，其中，e_i為知識點頭向量，e_j為知識點尾向量，r為關系向量。

進一步地，平移距離模型為TransE、TransH、TransR或KG2E。

進一步地，語義掩碼語言模型訓練包括：

獲取測試集中數學問題內容，對于數學問題中的詞匯進行分解；

根據替換規則，將內容中的詞匯進行遮蓋，并將處理好的向量關系句子帶入到詞匯被遮蓋的位置，使用交叉熵損失函數對替換的詞匯和預測填充詞匯之間差異進行計算，得到第一損失值。