[發(fā)明專利]一種群體計(jì)算的質(zhì)量控制方法及裝置

有效

• 申請?zhí)枺?/td>: 201510076468.3
• 申請日: 2015-02-12
• 公開（公告）號: CN104599084B
• 公開（公告）日: 2017-11-03
• 發(fā)明（設(shè)計(jì)）人: 孫海龍;劉旭東;方毅立;張日崇;懷進(jìn)鵬
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/00
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司11205
• 代理人: 馬爽,黃健

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)，尤其涉及一種群體計(jì)算的質(zhì)量控制方法及裝置。

背景技術(shù)

眾包(crowdsourcing)指的是一個公司或機(jī)構(gòu)把過去由員工執(zhí)行的工作任務(wù)，以自由自愿的形式外包給非特定的(而且通常是大型的)大眾網(wǎng)絡(luò)的做法。近年來，眾包在很多領(lǐng)域獲得了廣泛的應(yīng)用，眾包任務(wù)發(fā)布者將任務(wù)發(fā)布在眾包平臺，通過眾包平臺，收集大量的數(shù)據(jù)或者任務(wù)完成的結(jié)果，這些數(shù)據(jù)質(zhì)量越高越好，即主要指收集的數(shù)據(jù)的廣泛性或者完成任務(wù)結(jié)果的準(zhǔn)確性，目前群體計(jì)算研究的主要問題集中在控制眾包平臺的發(fā)布任務(wù)的花費(fèi)、控制結(jié)果收集和最終答案匯聚的質(zhì)量。

目前對于眾包技術(shù)質(zhì)量控制研究主要基于以下幾點(diǎn)：(1)參與者能力分析與選擇：由于眾包平臺參與者來自大眾群體，良莠不齊，為了能使得眾包任務(wù)得以正常完成，怎樣判斷參與者能力和怎樣選用參與者以及如何有效地結(jié)合工人因素、請求人的任務(wù)優(yōu)化目標(biāo)進(jìn)行在線任務(wù)分配是個問題；(2)任務(wù)分割與結(jié)果匯聚：由于很多任務(wù)單個人難于完成，并且眾包參與者之間的合作關(guān)系較弱。所以如何將一個任務(wù)數(shù)目龐大的任務(wù)集分割成單個參與者能夠單獨(dú)完成的量也是一個很大的挑戰(zhàn)。由于眾包系統(tǒng)更適合于微觀任務(wù)，因此為了支持復(fù)雜任務(wù)，需要把復(fù)雜的任務(wù)集劃分為數(shù)目較少的微觀任務(wù)系列，然后把微觀任務(wù)系列分發(fā)給任務(wù)完成者(也稱作工人)，并收集工人對微觀任務(wù)的答案，最后整合工人答案來完成初始的復(fù)雜任務(wù)。

目前群體計(jì)算的研究主要集中在“實(shí)名制平臺”(所謂實(shí)名制即為：平臺或者發(fā)包者可以根據(jù)工人的基本資料獲得用戶的資料或者工人的信息)，主要通過建立任務(wù)和工人的映射關(guān)系，從而提高任務(wù)完成的質(zhì)量，然而對于一些平臺，參與者的能力良莠不齊及平臺本身存在一些惡意的用戶，發(fā)包方難于獲得用戶的信息和用戶完成歷史信息，難于估計(jì)參與完成任務(wù)的工人的能力，從而較難控制結(jié)果收集和最終答案匯聚的質(zhì)量。

發(fā)明內(nèi)容

本發(fā)明提供一種群體計(jì)算的質(zhì)量控制方法及裝置，解決了現(xiàn)有技術(shù)中較難控制結(jié)果收集和最終答案匯聚的質(zhì)量的問題。

第一方面，本發(fā)明提供一種群體計(jì)算的質(zhì)量控制方法，包括：

將待處理的眾包任務(wù)集合劃分成多個任務(wù)類別的子任務(wù)集合；

從所述子任務(wù)集合中選擇測試任務(wù)，并確定所述測試任務(wù)的難度系數(shù)和準(zhǔn)確答案；

確定第一子任務(wù)集合和第二子任務(wù)集合；其中，所述第一子任務(wù)集合為加入所述測試任務(wù)的子任務(wù)集合，所述第二子任務(wù)集合為未加入所述測試任務(wù)的子任務(wù)集合；

根據(jù)所述測試任務(wù)的難度系數(shù)確定所述第一子任務(wù)集合中子任務(wù)的難度系數(shù)；

根據(jù)所述測試任務(wù)的難度系數(shù)和準(zhǔn)確答案評估工人的能力系數(shù)，并根據(jù)所述工人的能力系數(shù)以及所述第一子任務(wù)集合中子任務(wù)的難度系數(shù)確定工人完成所述子任務(wù)的準(zhǔn)確度；

根據(jù)所述準(zhǔn)確度獲取所述第一子任務(wù)集合中子任務(wù)的完成結(jié)果，并獲取所述第二子任務(wù)集合中子任務(wù)的完成結(jié)果。

可選地，所述將待處理的眾包任務(wù)集合劃分成多個任務(wù)類別的子任務(wù)集合，包括：

利用譜聚類的聚類方法將所述待處理的眾包任務(wù)集合劃分成多個所述子任務(wù)集合。

可選地，所述從所述子任務(wù)集合中選擇測試任務(wù)，包括：

計(jì)算所述子任務(wù)集合與其他任意子任務(wù)集合組成的k-1個任務(wù)類序?qū)χ凶尤蝿?wù)包含所述子任務(wù)集合的信息量；其中，所述子任務(wù)集合的個數(shù)為k；所述k為大于1的整數(shù)；

從每個所述k-1個任務(wù)類序?qū)χ羞x擇包含所述子任務(wù)集合的信息量從最大值依次降序排列的N_k/k個子任務(wù)，得到N_k(k-1)/k個子任務(wù)，并從所述k-1個任務(wù)類序?qū)χ羞x擇包含所述子任務(wù)集合的信息量從最小值依次升序排列的N_k/k個子任務(wù)，將所述N_k個子任務(wù)作為測試任務(wù)；其中，所述N_k為預(yù)設(shè)的測試任務(wù)的個數(shù)，且為大于1的整數(shù)。

可選地，所述計(jì)算所述子任務(wù)集合與其他任意子任務(wù)集合組成的k-1個任務(wù)類序?qū)χ凶尤蝿?wù)包含所述子任務(wù)集合的信息量，包括：