[發明專利]一種基于遷移學習的主觀題智能評卷方法、系統及設備

有效

• 申請號: 202011086881.5
• 申請日: 2020-10-12
• 公開（公告）號: CN112199472B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 馬磊;郭成鋒;袁峰;薛勇;韓百龍
• 申請（專利權）人: 山東山大鷗瑪軟件股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06N3/04;G06N3/08
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 趙陽

本發明提出的一種基于遷移學習的主觀題智能評卷方法、系統及設備，包括：基于遮擋語言模型，構建語義特征提取網絡，采用自監督學習方式，對語義特征提取網絡進行預訓練；在預訓練語義特征提取網絡的基礎上構建多得分點評分模型，并選取經由專家評閱的考生數據，對多得分點評分模型進行有監督精調訓練；利用精調訓練后的多得分點評分模型對待評分考生數據進行評分。本發明能夠解決小樣本學習的問題，依據本發明所述方法構建的智能評卷系統具有高準確率和高評閱效率，同時具有一定的可解釋性。

技術領域

本發明涉及教育考試評測技術領域，更具體的說是涉及一種基于遷移學習的主觀題智能評卷方法、系統及設備。

背景技術

近年來，隨著自然語言處理的發展，基于深度學習的計算機輔助智能評卷技術已成為教育考試評測領域的研究熱點。計算機輔助智能評卷技術是利用計算機技術對考生答案進行評價和打分。相對于人工評卷，計算機輔助智能評卷技術有明顯的優勢。首先，評卷過程的可復現性，一致性、客觀性，計算機系統不存在生理影響因素，一方面避免了因疲勞產生的疏忽，另一方面避免了因個人認知水平的不同導致的偏差，保證了評卷的公平性。其次，評卷過程的高效性，計算機在保證一致性、客觀性、公平性的基礎上，具有非常高的評卷效率，能適應各種考試規模的效率要求。

但是基于深度學習的處理技術同樣有不足之處，首先，基于深度學習的模型通常需要大量的訓練數據進行訓練模型，但是在真實的評卷場景中，機器評卷可供學習的樣本來源于少量專業評卷人的人工標注，因此可供機器學習的樣本數量相對較少，基于小樣本的智能評卷技術有待進一步研究。其次是評卷系統的解釋性，眾所周知，神經網絡的可解釋性通常比較差，特征提取和預測都由神經網絡完成，模型的內部工作難以理解，很難估計每個特征對模型預測的重要性，也不容易理解不同特征之間如何相互作用，如何改善評卷系統對答案的解釋性也有待進一步研究。

發明內容

針對以上問題，本發明的目的在于提供一種基于遷移學習的主觀題智能評卷方法、系統及設備，能夠解決小樣本學習的問題，依據本發明所述方法構建的智能評卷系統具有高準確率和高評閱效率，同時具有一定的可解釋性。

本發明為實現上述目的，通過以下技術方案實現：一種基于遷移學習的主觀題智能評卷方法，包括如下步驟：

S1：基于遮擋語言模型，構建語義特征提取網絡，采用自監督學習方式，對語義特征提取網絡進行預訓練；

S2：在預訓練語義特征提取網絡的基礎上構建多得分點評分模型，并選取經由專家評閱的考生數據，對多得分點評分模型進行有監督精調訓練；

S3：利用精調訓練后的多得分點評分模型對待評分考生數據進行評分。

進一步，所述步驟S1包括：

S11：采用遮擋文本數據中部分詞匯并預測被遮擋詞匯的方式構建自監督學習任務；

S12：采用多頭自注意力機制網絡模型為語義特征提取網絡主干層的方式進行神經網絡模型設計；

S13：通過對題干、參考答案文本和考生答案全量文本進行詞匯遮擋的方式構建自監督訓練數據；

S14：采用神經網絡模型訓練方式對待訓練數據進行遍歷，直至完成模型訓練。

進一步，所述神經網絡模型訓練方式包括：

對數據隨機混洗，每次隨機選取一小批樣本數據，輸入進模型，通過反向傳播算法計算誤差梯度，并采用Adam規則更新模型參數。

進一步，所述神經網絡模型包括：輸入層、詞嵌入層、位置嵌入層、語義特征提取層和分類預測層。

進一步，所述多頭自注意力機制網絡模型的計算公式如下：