[發明專利]題目作答質量的評估方法、裝置、設備及存儲介質

在審

• 申請號: 202210872292.2
• 申請日: 2022-07-20
• 公開（公告）號: CN115169485A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 董勝;徐浩;林炳懷;張力
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/16;G06Q10/06;G06Q50/20
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 朱佳

本申請涉及計算機領域，特別涉及人工智能領域，提供了一種題目作答質量的評估方法、裝置、設備及存儲介質。該方法包括：獲取各目標對象針對同一道主觀題輸入的作答結果，分別基于每個作答結果的中間相似度向量與各作答結果的中間相似度向量，獲得相應作答結果的目標相似度向量，其中，每個目標相似度向量表征：該作答結果的第一相似程度分布情況，與各作答結果的第一相似程度分布情況之間的第二相似程度分布情況；再分別基于獲得的各目標相似度向量，確定相應作答結果的作答質量評估特征，并將各作答質量評估特征輸入到目標評估模型中，獲得相應作答結果的作答質量評估結果。采用向量運算的方式進行特征提取，運算量小、延遲低，應用場景廣泛。

技術領域

本申請涉及計算機領域，特別涉及人工智能領域，提供了一種題目作答質量的評估方法、裝置、設備及存儲介質。

背景技術

近年來隨著計算機技術的發展，自動閱卷技術逐漸應用到考試中去，不僅減少了老師的工作量，提高了閱卷效率，還確保了考試的公平性與公正性。自動閱卷技術針對選擇題、填空題、判斷題等客觀題，可以實現自動閱卷，但主觀題因答案的多樣性、評判標準的靈活性等因素，一直是自動閱卷技術中需要攻克的技術難題。因此，針對主觀題的自動閱卷技術成為了該領域的研究重點。

一開始是使用主題詞匹配與離題檢測模型相結合的方案，判斷試卷中的主觀題是否離題。然而，在應用階段中，基于規則的主題詞匹配無法覆蓋所有主題詞，召回效果并不好，進而影響到模型的檢測準確率。

為了提高模型的檢測準確率，目前主流的離題檢測方法是使用基于自然語言處理(Natural Language Processing,NLP)技術構建的離題檢測模型，提取出考試題目與學生回答之間的相關性特征，再基于該相關性特征，對每名學生的作答結果進行離題檢測。

雖然這種檢測方法在一定程度上提高了模型的檢測準確率，但龐大的神經網絡，又帶來了運算量大、延遲高的新問題，無法滿足實時性較高的應用場景的檢測需求。此外，由于現階段的NLP技術不夠成熟，離題檢測模型無法從訓練階段未涉及的應用場景中，準確提取出相應的相關性特征，反而降低了模型的檢測準確率與魯棒性。

發明內容

本申請實施例提供了一種題目作答質量的評估方法、裝置、設備及存儲介質，以解決在提取特征時存在的運算量大、延遲高，以及只能提取特定場景的特征的問題。

第一方面，本申請實施例提供了一種題目作答質量的評估方法，包括：

分別獲取各目標對象針對同一道主觀題輸入的作答結果，以及分別獲得各作答結果對應的中間相似度向量，其中，每個中間相似度向量表征相應的作答結果與所述各作答結果之間的第一相似程度分布情況；

針對獲得的各中間相似度向量，分別執行以下操作：基于一個作答結果的中間相似度向量與所述各作答結果的中間相似度向量，獲得相應的目標相似度向量，其中，每個目標相似度向量表征：所述一個作答結果的第一相似程度分布情況，與所述各作答結果的第一相似程度分布情況之間的第二相似程度分布情況；

分別基于獲得的各目標相似度向量，確定相應作答結果的作答質量評估特征，并將各作答質量評估特征輸入到目標評估模型中，獲得所述目標評估模型輸出的相應作答結果的作答質量評估結果。

第二方面，本申請實施例還提供了一種題目作答質量的評估裝置，包括：

向量化處理單元，用于分別獲取各目標對象針對同一道主觀題輸入的作答結果，以及分別獲得各作答結果對應的中間相似度向量，其中，每個中間相似度向量表征相應的作答結果與所述各作答結果之間的第一相似程度分布情況；

特征提取單元，用于針對獲得的各中間相似度向量，分別執行以下操作：基于一個作答結果的中間相似度向量與所述各作答結果的中間相似度向量，獲得相應的目標相似度向量，其中，每個目標相似度向量表征：所述一個作答結果的第一相似程度分布情況，與所述各作答結果的第一相似程度分布情況之間的第二相似程度分布情況；