[發(fā)明專利]簡答題的機(jī)器智能評(píng)閱方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011078190.0
• 申請(qǐng)日: 2020-10-10
• 公開（公告）號(hào): CN112214579B
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 張新華;王朝選;劉喜軍;徐佳健;彭軍;賴日毅;江琪
• 申請(qǐng)（專利權(quán)）人: 浙江藍(lán)鴿科技有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/35;G06F40/279;G06F40/30;G06Q50/20;G06N7/00
• 代理公司: 上海一平知識(shí)產(chǎn)權(quán)代理有限公司 31266
• 代理人: 成春榮;竺云

本申請(qǐng)涉及試卷評(píng)閱，公開了一種簡答題的機(jī)器智能評(píng)閱方法及系統(tǒng)，避免對(duì)于通過堆砌詞語來獲得高分的行為的誤判，評(píng)分結(jié)果更加客觀、準(zhǔn)確。該方法包括：預(yù)先基于學(xué)科語料獲取該學(xué)科的學(xué)科關(guān)鍵詞和普通關(guān)鍵詞，并獲取各學(xué)科關(guān)鍵詞的關(guān)聯(lián)詞集合，構(gòu)建該學(xué)科的關(guān)鍵詞庫；獲取目標(biāo)試題的作答信息和標(biāo)準(zhǔn)答案；基于關(guān)鍵詞庫，提取該標(biāo)準(zhǔn)答案中的學(xué)科關(guān)鍵詞集合和普通關(guān)鍵詞集合，并確定各學(xué)科關(guān)鍵詞的關(guān)聯(lián)詞集合以拓展學(xué)科關(guān)鍵詞集合；基于拓展后的學(xué)科關(guān)鍵詞集合識(shí)別作答信息中的學(xué)科關(guān)鍵詞、關(guān)聯(lián)詞，基于普通關(guān)鍵詞集合識(shí)別作答信息中的普通關(guān)鍵詞；計(jì)算作答信息的句子合理度；根據(jù)評(píng)分公式計(jì)算該作答信息的評(píng)分。

技術(shù)領(lǐng)域

本申請(qǐng)涉及試卷評(píng)閱，特別涉及簡答題的機(jī)器智能評(píng)閱技術(shù)。

背景技術(shù)

考試是教學(xué)活動(dòng)中不可或缺的重要部分，其是對(duì)學(xué)生平時(shí)學(xué)習(xí)情況的檢查，也是對(duì)教師教學(xué)水平的檢驗(yàn)。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，目前普遍采用計(jì)算機(jī)輔助的方式進(jìn)行試卷評(píng)閱，目前客觀題的自動(dòng)評(píng)閱技術(shù)相對(duì)成熟，而主觀題(例如，簡答題)的自動(dòng)評(píng)閱仍然是計(jì)算機(jī)自動(dòng)評(píng)閱技術(shù)中的難點(diǎn)。雖然目前已經(jīng)提出了一些主觀題的自動(dòng)評(píng)閱方法，但是這些方法中仍存在很多問題。例如，公開號(hào)為CN108959261A的中國申請(qǐng)公開了一種基于自然語言的試卷主觀題判題裝置及方法，該裝置首先提取考生答案中的關(guān)鍵詞，然后計(jì)算所提取關(guān)鍵詞與得分點(diǎn)關(guān)鍵詞的詞語相似度，計(jì)算考生答案的文本句子與參考答案提供句子的句子相似度，最后根據(jù)詞語相似度和句子相似度獲取考生答案的判定成績。該裝置存在的問題在于：僅通過詞義相似度來計(jì)算關(guān)鍵詞的詞語相似度，以及采用兩個(gè)句子中所包含詞語的詞語相似度計(jì)算兩個(gè)句子的語義相似度，僅是對(duì)句子的表象信息的評(píng)判，缺乏對(duì)句子本身的邏輯性的評(píng)判，容易造成例如通過堆砌詞語來獲得高分的誤判。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于提供一種簡答題的機(jī)器智能評(píng)閱方法及系統(tǒng)，避免對(duì)于通過堆砌詞語來獲得高分的行為的誤判，評(píng)分結(jié)果更加客觀、準(zhǔn)確。

本申請(qǐng)公開了一種簡答題的機(jī)器智能評(píng)閱方法，包括：

預(yù)先基于學(xué)科語料獲取該學(xué)科的學(xué)科關(guān)鍵詞和普通關(guān)鍵詞，并生成各關(guān)鍵詞的詞向量表，基于所述詞向量表對(duì)各關(guān)鍵詞進(jìn)行聚類，獲取各學(xué)科關(guān)鍵詞的關(guān)聯(lián)詞集合，構(gòu)建該學(xué)科的關(guān)鍵詞庫；

獲取目標(biāo)試題的作答信息和標(biāo)準(zhǔn)答案；

基于所述關(guān)鍵詞庫，提取所述標(biāo)準(zhǔn)答案中的學(xué)科關(guān)鍵詞集合和普通關(guān)鍵詞集合，并確定各學(xué)科關(guān)鍵詞的關(guān)聯(lián)詞集合以拓展所述學(xué)科關(guān)鍵詞集合；

基于拓展后的學(xué)科關(guān)鍵詞集合識(shí)別所述作答信息中的學(xué)科關(guān)鍵詞、關(guān)聯(lián)詞，基于所述普通關(guān)鍵詞集合識(shí)別所述作答信息中的普通關(guān)鍵詞；

計(jì)算所述作答信息的句子合理度，該句子合理度是指句子中詞與詞之間的邏輯順序和關(guān)系的合理程度；

根據(jù)公式計(jì)算所述作答信息的評(píng)分F，其中，s₁、s₂、s₃、s₄分別表示所述作答信息中的學(xué)科關(guān)鍵詞信息、關(guān)聯(lián)詞信息、普通關(guān)鍵詞信息、句子合理度的權(quán)重系數(shù)且s₁＞s₂＞s₃，F(xiàn)₀為所述目標(biāo)試題總分。

在一個(gè)優(yōu)選例中，所述計(jì)算所述作答信息的句子合理度，該句子合理度是指句子中詞與詞之間的邏輯順序和關(guān)系的合理程度，進(jìn)一步包括：

分別提取所述作答信息和所述標(biāo)準(zhǔn)答案中每個(gè)句子的詞語序列；

根據(jù)馬爾可夫假設(shè)采用N-gram語言模型計(jì)算各所述詞語序列中每個(gè)詞語在所在句子中出現(xiàn)位置的概率值；

基于貝葉斯條件概率模型根據(jù)所述每個(gè)詞語在所在句子中出現(xiàn)位置的概率值計(jì)算所述每個(gè)句子的詞語合理概率值；

根據(jù)所述作答信息和所述標(biāo)準(zhǔn)答案中每個(gè)句子的詞語合理概率值計(jì)算所述作答信息的句子合理度。