[發(fā)明專利]一種基于Bloom分類法的課程教學(xué)案例自動(dòng)評(píng)估方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310122823.0
• 申請(qǐng)日: 2023-02-16
• 公開（公告）號(hào): CN116361454A
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 董榮勝;徐杰;李鳳英
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/36;G06F40/242;G06N3/0464;G06Q50/20
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 楊雪梅

本發(fā)明公開一種基于Bloom分類法的課程教學(xué)案例自動(dòng)評(píng)估方法，先收集來自待評(píng)估計(jì)算機(jī)學(xué)科課程的教學(xué)案例，整理成包含若干個(gè)教學(xué)案例的文檔；并將整理好的案例數(shù)據(jù)進(jìn)行標(biāo)注，規(guī)范成標(biāo)準(zhǔn)數(shù)據(jù)集格式；再搭建基于預(yù)訓(xùn)練語言模型和卷積神經(jīng)網(wǎng)絡(luò)的分類模型，并利用預(yù)處理后的案例數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練；最后將待評(píng)估課程教學(xué)案例數(shù)據(jù)集送入到訓(xùn)練好的基于預(yù)訓(xùn)練語言模型和卷積神經(jīng)網(wǎng)絡(luò)的分類模型中進(jìn)行文本分類，得到待分類測(cè)試案例數(shù)據(jù)集的精確分類結(jié)果。本發(fā)明方法構(gòu)建了小樣本的課程教學(xué)案例數(shù)據(jù)集，搭建的評(píng)估模型增強(qiáng)了對(duì)漢語詞語的識(shí)別切分能力，具有更好的語義表示能力及捕獲上下文語義的能力，提高了對(duì)課程教學(xué)案例自動(dòng)分類的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及中文文本分類技術(shù)領(lǐng)域，具體涉及一種基于布盧姆(Bloom)分類法的課程教學(xué)案例自動(dòng)評(píng)估方法。

背景技術(shù)

將Bloom分類法應(yīng)用到特定領(lǐng)域教育成果的評(píng)估及分類階段主要有人工評(píng)估和機(jī)器評(píng)估兩種手段。早期的人工評(píng)估不僅費(fèi)時(shí)費(fèi)力，并且評(píng)估結(jié)果較大程度取決于教育工作者的主觀傾向。基于機(jī)器學(xué)習(xí)的評(píng)估手段規(guī)范了評(píng)估標(biāo)準(zhǔn)，使得評(píng)估者有據(jù)可依的同時(shí)，減輕了評(píng)估工作量，主要包括基于監(jiān)督學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。

基于監(jiān)督學(xué)習(xí)的方法通過利用已知類別的樣本來調(diào)整分類器的參數(shù)，使分類器根據(jù)學(xué)習(xí)到的規(guī)則對(duì)樣本進(jìn)行分類。Yusof等人嘗試了不同的特征工程和監(jiān)督學(xué)習(xí)模型組合，其使用的支持向量機(jī)(SVM)分類器能夠根據(jù)置信度對(duì)數(shù)據(jù)判定，但該方法對(duì)于認(rèn)知過程高維度分類結(jié)果不佳。Zhang等人提出了類別頻率-逆文檔頻率(CF-IDF)的分類方法，該方法利用每個(gè)類別標(biāo)簽的頻率對(duì)問題進(jìn)行分類，該方法能較好的判定出現(xiàn)次數(shù)較少的樣本標(biāo)簽，但對(duì)于樣本數(shù)量較大的標(biāo)簽判定效果不佳。Omar等人應(yīng)用基于自然語言處理的技術(shù)識(shí)別，在判定過程中使用重要的分類關(guān)鍵詞，使用基于規(guī)則的方法來識(shí)別期望的認(rèn)知過程維度水平，該方法由于訓(xùn)練集的規(guī)模不足無法充分學(xué)習(xí)規(guī)則，并且其使用的文本語句過于簡(jiǎn)單和直接，使得評(píng)估效果只在記憶和理解維度較為準(zhǔn)確。使用基于監(jiān)督學(xué)習(xí)的方法適用于規(guī)模較小且文本長(zhǎng)度較短的數(shù)據(jù)樣本，但監(jiān)督學(xué)習(xí)需要審查訓(xùn)練所用的數(shù)據(jù)樣本，并且要設(shè)計(jì)相關(guān)的判定規(guī)則，訓(xùn)練需要大量的計(jì)算時(shí)間。

基于深度學(xué)習(xí)的方法可以通過模型自動(dòng)學(xué)習(xí)文本的基礎(chǔ)特征并組合為高級(jí)特征，實(shí)現(xiàn)文本的特征提取，根據(jù)特定任務(wù)選擇合適的分類器實(shí)現(xiàn)樣本評(píng)估。隨著計(jì)算機(jī)算力的不斷提升，以及無監(jiān)督文本數(shù)據(jù)的爆炸式增長(zhǎng)，深度學(xué)習(xí)模型被廣泛應(yīng)用于文本分類領(lǐng)域。Manjushree等人應(yīng)用基于深度學(xué)習(xí)的模型卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)將評(píng)估樣本分類到Bloom分類法認(rèn)知過程維度，他們從軟件工程課程中收集并手工標(biāo)注了844個(gè)實(shí)例樣本。該團(tuán)隊(duì)將數(shù)據(jù)樣本按照訓(xùn)練集：測(cè)試集為7：3的比例進(jìn)行實(shí)驗(yàn)，在使用CNN模型的測(cè)試集上，作者團(tuán)隊(duì)在認(rèn)知過程的低維度取得較好的效果，但對(duì)于評(píng)估及以上維度評(píng)估效果不佳。并且現(xiàn)有的數(shù)據(jù)集多為英文數(shù)據(jù)，缺少中文相關(guān)領(lǐng)域數(shù)據(jù)集，針對(duì)中文案例數(shù)據(jù)集進(jìn)行自動(dòng)分類的深度學(xué)習(xí)模型效果不佳，因此亟需發(fā)展適用于計(jì)算機(jī)學(xué)科課程教學(xué)中文案例數(shù)據(jù)集的自動(dòng)評(píng)估方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的是現(xiàn)有小樣本案例數(shù)據(jù)集規(guī)模數(shù)量有限、訓(xùn)練樣本包含信息不足，以及對(duì)教學(xué)案例數(shù)據(jù)集自動(dòng)分類效果不佳的問題，提供一種基于Bloom分類法的課程教學(xué)案例自動(dòng)評(píng)估方法。

為解決上述問題，本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于Bloom分類法的課程教學(xué)案例自動(dòng)評(píng)估方法，具體包括如下步驟：

步驟1、收集來自待評(píng)估計(jì)算機(jī)學(xué)科課程的教學(xué)案例，包括教材和教案，整理成包含若干個(gè)教學(xué)案例的文檔；

整理時(shí)將案例中代表本節(jié)教學(xué)目標(biāo)的內(nèi)容抽取成句子，因?yàn)榻虒W(xué)目標(biāo)含有案例內(nèi)容中的關(guān)鍵詞，因此將代表教學(xué)目標(biāo)的句子作為案例自動(dòng)分類的數(shù)據(jù)文本，對(duì)原始的教材和教案內(nèi)容進(jìn)行篩選，刪除案例中的非文本內(nèi)容和含有較多公式符號(hào)的文本；