[發明專利]一種基于同行互評的數據質量評價方法

在審

• 申請號: 201811325273.8
• 申請日: 2018-11-08
• 公開（公告）號: CN109559020A
• 公開（公告）日: 2019-04-02
• 發明（設計）人: 張博;王玉峰
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種基于同行互評的數據質量評價方法，在參與者對某項任務提交解決方案后，將每個提交分配給若干個其他參與者對其數據質量進行評分，每次迭代包括：（i）根據評價者對被評價者的評分與推測的被評價者的等級之間的差異來調整每個評價者的評價可靠性；（ii）基于評價者的可靠性以加權的方式更新每個被評價者的數據質量；（iii）由于每個用戶既是評價者又是被評價者，則每個參與者等級由其評價可靠性和自身數據質量兩個指標加權平均獲得。優點：本發明將參與者的評價的可靠性與自身數據質量顯式地區分開，既能衡量參與者的正確評價的能力，又能激勵評價者正確地對被評價者進行評分。

技術領域

本發明涉及一種基于同行互評的數據質量評價方法，屬于人工智能和大數據挖掘技術領域。

背景技術

基于網絡、針對大眾人群的大規模在線開放課程(MOOCs,Massive Online OpenCourses)快速發展，目前的MOOC雖然能支持視頻課程、論壇、測試和評價等功能，但是對學生學習效果的評價和給予反饋的能力仍受到限制。MOOC的一個關鍵挑戰是學生評估：大量學生使教練或助教(TA)對所有任務進行評分是不可行的。同行/伴互評(讓學生相互評價)是解決大規模評估問題的有效的方法。但是，同伴互評有幾個根本問題。首先，如何能夠為參與者提供一個激勵讓他們正確評價自己的同伴？第二，由于同伴可能會對評價的正確性不在意，如何補償同伴互評可能引入的任何有意的偏差？

傳統的類似于Pagerank的同伴互評算法，它根據參與者對其他同伴提出的評分為參與者構建成績。類似PeerRank方法對如何組合同伴的成績做出兩個基本假設。首先，它假定一個參與者的成績是衡量他們能否正確評分的能力。第二，參與者應該得到正確的評分獎勵，這是參與者提供準確的同伴互評的動機。但該方法存在的缺點是無法準確的預測參與者成績，成績預測的誤差較大。

發明內容

本發明所要解決的技術問題是克服現有技術的缺陷，提供一種基于同行互評的數據質量評價方法。

為解決上述技術問題，本發明提供一種基于同行互評的數據質量評價方法，其特征在于，包括如下步驟：

步驟1：假設有N個參與者，每個參與者需要對一項任務提交自己的解決方案，然后將每個參與者的解決方案隨機分配給m個其他參與者進行評分，得到一個評分矩陣G_N×N，該矩陣G_N×N的第i行表示參與者i的解決方案獲得的評分，第j列表示參與者j給出的評分，設最大評分為c；

步驟2：計算參與者i的初始的預測成績它表示參與者i的提交獲得的所有評分的均值，S^→i表示所有對參與者i進行評分的同伴j的集合，G_i←j表示參與者j對同伴i的評分；

步驟3：迭代計算每個參與者i的成績t為迭代次數，由兩部分組成：參與者i的評價可靠性和推測的參與者i的數據質量

步驟4：重復步驟3，直到所有參與者的預測成績收斂。

進一步的，所述步驟3中，第t次迭代時推測出的參與者i的評價可靠性采用如下方法計算：

S^i→表示被參與者i評價的所有參與者j的集合，|S^i→|是集合中的參與者數目，是參與者j在第t-1次迭代中推測得到成績，β為指數因子,即參與者i的可靠性是參與者i對m個被評價者的評分與這些被評價者本身的預測成績的差值的總和，c表示所允許的最大評分值，G_j←i表示參與者i對參與者j的評價，即矩陣G_N×N中第(j,i)個元素的值。

進一步的，所述β的值取1.2。

進一步的，所述步驟3中，推測的參與者i的數據質量采用如下方法計算：是第t次迭代時推測出的參與者i的數據質量，是對i進行評價的參與者j在上一次迭代中獲得的評價可靠性。