[發明專利]評閱方法、評閱裝置、電子設備以及計算機可讀存儲介質

在審

• 申請號: 202111665520.0
• 申請日: 2021-12-31
• 公開（公告）號: CN114358579A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 陳子恒;沙晶;劉丹;王士進;魏思
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/04;G06Q50/20;G06N3/04;G06N3/08;G06K9/62;G06F40/289
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 劉希

本申請公開了評閱方法、評閱裝置、電子設備以及計算機可讀存儲介質。該評閱方法包括：獲取到待評分的數學文本；其中，數學文本包括標準答案以及用戶作答內容，數學文本包括數學式子和文字信息；其中，數學文本為經過分詞處理后的文本；將數學文本輸入到評分預測模型中，利用評分預測模型對數學文本中的文字信息以及數學式子進行識別；其中，評分預測模型是利用不完整的數學文本進行訓練得到的；其中，不完整的數學文本包括被掩蓋的數學式子以及被掩蓋的文字信息；基于識別結果對用戶作答內容進行評分并輸出得分率。本申請能夠較好地根據用戶作答內容進行預測，從而滿足解答題自動評閱的需求。

技術領域

本申請涉及自然語言處理領域，特別是涉及評閱方法、評閱裝置、電子設備以及計算機可讀存儲介質。

背景技術

隨著互聯網技術的發展，在線教育的用戶數量日益俱增，需要大量的人力應對大規模的題目評閱。其中，對于選擇填空題，可以通過簡單的答案匹配實現高效的評閱，而由于解答題過程的主觀性及解法的多樣性，導致不同老師對于評閱結果也存在一定的主觀性，既不利于學生對自己進行客觀的評價，也增加了老師的工作強度。

現有的數學題自動批改方法，主要是依據標準答案與學生作答的匹配程度來計算得分。例如，通過真值代入學生作答，并與標準答案進行匹配的辦法來進行數學代數式類型題目的評閱。或者，利用大量人為定義的規則分別對學生作答與標準答案進行結構化以及結論提取，并最終根據結論的匹配程度得出學生的得分。

然而，現有的評分預測模型無法準確理解數學文本中的數學語句的規律，就需要通過人工預先對標準答案以及學生作答進行結構化以及結論提取，這仍然會極大增加人力成本，無法滿足解答題自動評閱的需求。

發明內容

本申請主要解決的技術問題是提供評閱方法、評閱裝置、電子設備以及計算機可讀存儲介質，能夠解決現有技術中解答題評閱導致的高額人力成本問題。

為解決上述技術問題，本申請采用的第一技術方案是提供一種評閱方法，包括：獲取到待評分的數學文本；其中，數學文本包括標準答案以及用戶作答內容，數學文本包括數學式子和文字信息；其中，數學文本為經過分詞處理后的文本；將數學文本輸入到評分預測模型中，利用評分預測模型對數學文本中的文字信息以及數學式子進行識別；其中，評分預測模型是利用不完整的數學文本進行訓練得到的；其中，不完整的數學文本包括被掩蓋的數學式子以及被掩蓋的文字信息；基于識別結果對用戶作答內容進行評分并輸出得分率。

其中，獲取到待評分的數學文本的步驟，具體包括：獲取到多個待評分的數學文本；將數學文本輸入到評分預測模型中，利用評分預測模型對數學文本中的文字信息以及數學式子進行識別的步驟，包括：將各數學文本輸入評分預測模型中，利用評分預測模型對各數學文本中的文字信息以及數學式子進行識別，得到多個識別結果；基于識別結果對用戶作答內容進行評分并輸出得分率的步驟，包括：通過評分預測模型對多個全部識別結果進行評分，輸出多個得分率，并通過評分預測模型得到多個得分率的均值；通過評分預測模型對多個得分率的均值以及各數學文本對應的得分率進行高斯分布擬合，并基于獲得的各方差與第二設定閾值的對比結果，判斷是否拒絕對各數學文本進行評閱；其中，響應于單個數學文本的方差大于第二設定閾值，拒絕對單個數學文本進行評分。

其中，利用不完整的數學文本進行訓練的方法，具體包括：獲取到第一樣本數據集，各第一樣本數據為不完整的數學文本；利用第一樣本數據集對預設語言模型進行數學式子以及文字預測訓練，得到第一模型；獲取到第二樣本數據集，各第二樣本數據包括題目、標準答案、用戶作答內容以及用戶作答內容的評判信息；且第二樣本數據包括數學式子以及文字信息；利用第二樣本數據集對第一模型進行評分訓練，得到評分預測模型。

其中，獲取到第一樣本數據集，各第一樣本數據為不完整的數學文本的步驟，包括：獲取到原始樣本集，其中，各原始樣本包括數學式子和文字信息；對各原始樣本中的數學式子以及文字信息進行分詞處理，以將數學式子以及文字信息切分成多個分詞；將數學式子對應的分詞以及文字信息對應的分詞進行部分掩蓋，得到第一樣本數據集。