[發(fā)明專利]面向教育測量的客觀試題屬性模式估計(jì)與校正方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010243487.1
• 申請日: 2020-03-31
• 公開（公告）號(hào): CN111445153B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計(jì)）人: 王志鋒;劉繼斌;左明章;葉俊民;魏艷濤;童名文;羅恒;閔秋莎;田元;夏丹
• 申請（專利權(quán)）人: 華中師范大學(xué)
• 主分類號(hào): G06Q10/0639
• 分類號(hào): G06Q10/0639;G06Q50/20;G06F18/214;G06F18/241
• 代理公司: 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 11401
• 代理人: 楊采良

本發(fā)明屬于教育測量及教育數(shù)據(jù)挖掘技術(shù)領(lǐng)域，公開了一種面向教育測量的客觀試題屬性模式估計(jì)與校正方法及系統(tǒng)，訓(xùn)練出監(jiān)督度量學(xué)習(xí)的度量矩陣M1，使用該矩陣初步挖掘所有學(xué)習(xí)者的知識(shí)掌握情況；取部分?jǐn)?shù)據(jù)作為訓(xùn)練集，訓(xùn)練出監(jiān)督度量學(xué)習(xí)的度量矩陣M2，對(duì)新一道客觀試題的屬性模式進(jìn)行估計(jì)，而后將該試題作為已知試題加入到基礎(chǔ)客觀試題中，直至估計(jì)出所有試題的屬性模式；試題估計(jì)完畢后，選取一道試題進(jìn)行屬性模式校正，利用校正的客觀試題屬性模式挖掘所有學(xué)習(xí)者的知識(shí)掌握情況即學(xué)習(xí)者屬性模式。本發(fā)明幫助教學(xué)人員更客觀而詳盡地分析試題組成，提高測試效度與信度，為學(xué)習(xí)者調(diào)整學(xué)習(xí)計(jì)劃或采取針對(duì)性的補(bǔ)救措施提供依據(jù)。

技術(shù)領(lǐng)域

本發(fā)明屬于教育測量及教育數(shù)據(jù)挖掘技術(shù)領(lǐng)域，尤其涉及一種面向教育測量的客觀試題屬性模式估計(jì)與校正方法及系統(tǒng)。

背景技術(shù)

目前，最接近的現(xiàn)有技術(shù)：隨著認(rèn)知心理學(xué)、心理測量學(xué)和計(jì)算機(jī)技術(shù)的迅速發(fā)展，認(rèn)知診斷理論從微觀認(rèn)知角度出發(fā)，可以在教育與心理測量領(lǐng)域中對(duì)學(xué)習(xí)者作出準(zhǔn)確評(píng)估與反饋，這一優(yōu)勢展現(xiàn)了認(rèn)知診斷理論巨大的發(fā)展?jié)摿ΑＦ渲校瑢?duì)測驗(yàn)項(xiàng)目與認(rèn)知屬性之間關(guān)系的描述稱為測驗(yàn)Q矩陣，它是從微觀認(rèn)知角度出發(fā)，實(shí)現(xiàn)對(duì)學(xué)習(xí)者做出準(zhǔn)確評(píng)估與反饋這一優(yōu)勢的理論基礎(chǔ)。但是，這種優(yōu)勢的充分發(fā)揮取決于所構(gòu)建的測驗(yàn)Q矩陣的合理性。以往的許多研究中，均假設(shè)所構(gòu)建的Q矩陣是正確的，并在此基礎(chǔ)上進(jìn)行診斷分類。但事實(shí)并非如此，對(duì)于一個(gè)高質(zhì)量的認(rèn)知診斷測驗(yàn)，構(gòu)建一個(gè)準(zhǔn)確無誤的測驗(yàn)Q矩陣是十分重要的。

由于學(xué)習(xí)者在客觀試題上的作答結(jié)果只有對(duì)錯(cuò)之分，故針對(duì)客觀試題的Q矩陣標(biāo)注方法較多，一般有三種思路：試題的簡單檢查法、多評(píng)分者法和基于試題參數(shù)的迭代估計(jì)法。試題的簡單檢查法和多評(píng)分者法由于采用專家意見對(duì)測驗(yàn)Q矩陣進(jìn)行確定，因而其結(jié)果帶有一定的主觀性。基于試題參數(shù)的迭代估計(jì)法是一種在模型擬合的前提下結(jié)合試題參數(shù)對(duì)Q矩陣進(jìn)行精煉提純的方法，由于其建立在試題參數(shù)的基礎(chǔ)上而不是單純依賴專家界定，該方法得出的Q矩陣較前兩種方法具有一定的客觀性。但是，多數(shù)情況下由錯(cuò)誤界定的Q矩陣所得到的試題參數(shù)誤差較大，這嚴(yán)重影響了以該試題參數(shù)為基礎(chǔ)的Q矩陣估計(jì)結(jié)果的準(zhǔn)確性。此外，錯(cuò)誤界定的Q矩陣對(duì)模型擬合也比較敏感。因此，基于試題參數(shù)的迭代估計(jì)法所得到的測驗(yàn)Q矩陣也比較粗糙，很難應(yīng)用于其他模型。

對(duì)于一個(gè)高質(zhì)量的認(rèn)知診斷測驗(yàn)而言，正確界定Q矩陣顯得非常重要，而當(dāng)前依據(jù)專家判定和基于試題參數(shù)的選代估計(jì)法所構(gòu)建的測驗(yàn)Q矩陣又很難確保其正確性。

基于學(xué)習(xí)者的作答反應(yīng)數(shù)據(jù)方法中，非參數(shù)估計(jì)法可以拓展到任意一種應(yīng)用學(xué)習(xí)者屬性掌握模式和測驗(yàn)Q矩陣的認(rèn)知診斷測驗(yàn)中，這大大提升了該方法的模型適用性。此外，該方法較少受Q矩陣錯(cuò)誤率和誤設(shè)類型的影響，提高了其在不同誤設(shè)條件下的應(yīng)用能力。當(dāng)然，該方法也有其不足之處：第一，由于該方法建立在非參數(shù)判別分類的基礎(chǔ)上，其最大的不足就是該方法不能識(shí)別屬性個(gè)數(shù)出現(xiàn)錯(cuò)誤設(shè)定的情況(也就是說屬性個(gè)數(shù)不確定的情況)；第二，雖然不同的診斷模型對(duì)該方法的結(jié)果沒有影響，但是該方法不能對(duì)錯(cuò)誤設(shè)定的認(rèn)知診斷模型進(jìn)行識(shí)別，也就是說雖然該方法可以適用于所有認(rèn)知診斷模型但要以模型-數(shù)據(jù)擬合為前提；參數(shù)估計(jì)法建立在所有試題的猜測參數(shù)是已知的和Q矩陣必須是一個(gè)完整的Q矩陣這兩個(gè)前提上，如果違反這兩個(gè)前提假設(shè)將會(huì)導(dǎo)致估計(jì)的Q矩陣無法識(shí)別；基于海明距離的Q矩陣估計(jì)方法，根據(jù)已知Q矩陣的客觀試題使用海明距離來估計(jì)學(xué)習(xí)者的掌握模式，若出現(xiàn)學(xué)習(xí)者在兩種掌握模式上的海明距離均為最小值時(shí)，采用隨機(jī)的方法進(jìn)行分類，由此得到學(xué)習(xí)者的掌握模式，進(jìn)而估計(jì)客觀試題屬性模式。該方法不需要較為復(fù)雜的計(jì)算，不需要進(jìn)行參數(shù)估計(jì)，不會(huì)受到數(shù)據(jù)和模型之間不擬合造成的參數(shù)估計(jì)異常的影響，但該方法在學(xué)習(xí)者知識(shí)掌握模式的判斷中存在隨機(jī)分類的操作，在一定程度上造成分類不準(zhǔn)確的情況。

綜上所述，現(xiàn)有技術(shù)存在的問題是：(1)現(xiàn)有技術(shù)中，依賴專家標(biāo)記Q矩陣具有較大的主觀性，在部分復(fù)雜試題上，不同專家標(biāo)記的客觀試題屬性模式差異較大，使得后續(xù)挖掘結(jié)果數(shù)據(jù)信息不準(zhǔn)確，進(jìn)而影響整個(gè)認(rèn)知診斷和數(shù)據(jù)挖掘過程。