[發(fā)明專利]一種基于用戶不一致性信息的協(xié)同眾包質(zhì)量控制方法

在審

• 申請?zhí)枺?/td>: 201810325877.6
• 申請日: 2018-04-12
• 公開（公告）號: CN108647858A
• 公開（公告）日: 2018-10-12
• 發(fā)明（設(shè)計）人: 孫玉靈;王美紅;賀樑
• 申請（專利權(quán)）人: 華東師范大學(xué)
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 上海藍(lán)迪專利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發(fā)明公開了一種基于用戶不一致性信息的協(xié)同眾包質(zhì)量控制方法，該方法包括歧義任務(wù)發(fā)現(xiàn)和歧義任務(wù)修正兩個階段。首先對眾包任務(wù)中工作者產(chǎn)生的不一致信息進(jìn)行分析和利用，通過工作者提供的反饋信息發(fā)現(xiàn)任務(wù)中可能存在的歧義任務(wù)，并采用迭代修訂的模式進(jìn)行歧義任務(wù)的答案優(yōu)化。同時，本發(fā)明在歧義答案修正階段融入了“鼓勵勇敢者”的激勵機(jī)制，來激發(fā)用戶的主觀能動性，鼓勵用戶提供有價值的解釋信息，并有效地防止惡意工作者的干擾。

技術(shù)領(lǐng)域

本發(fā)明涉及協(xié)同計算以及眾包技術(shù)領(lǐng)域，是一種基于用戶不一致性來提高眾包任務(wù)質(zhì)量的眾包質(zhì)量控制方法。

背景技術(shù)

“眾包”（crowdsourcing）這一概念最早是由美國《連線》雜志的記者杰夫?豪（JeffHowe）在 2006年6月提出的，它是指任務(wù)發(fā)布者利用互聯(lián)網(wǎng)將任務(wù)分配出去，借助群體的智慧來完成大量計算機(jī)難以完成的任務(wù)。作為一個新興的商業(yè)和工作模式，眾包迅速吸引了各個領(lǐng)域?qū)＜?、學(xué)者的關(guān)注，大量的研究學(xué)者從不同視角開展了一系列關(guān)于眾包的應(yīng)用研究。其中，利用眾包技術(shù)來進(jìn)行數(shù)據(jù)標(biāo)注是眾包的一個典型應(yīng)用。

在機(jī)器學(xué)習(xí)等領(lǐng)域中，研究人員常常需要大量的標(biāo)注數(shù)據(jù)作為訓(xùn)練集。由于眾包有參與人數(shù)多、花費(fèi)少等優(yōu)點(diǎn)，越來越多的研究者選擇眾包平臺收集實(shí)驗數(shù)據(jù)。通常的工作模式為，任務(wù)發(fā)布者將大批量原始數(shù)據(jù)進(jìn)行預(yù)處理后，發(fā)布在眾包平臺上，由互聯(lián)網(wǎng)上的分布式用戶來進(jìn)行數(shù)據(jù)標(biāo)注，并將答案匯集至任務(wù)發(fā)布者，用以進(jìn)行模型的訓(xùn)練。在整個過程中，標(biāo)簽的質(zhì)量至關(guān)重要，直接影響到機(jī)器學(xué)習(xí)模型訓(xùn)練的效果。但由于眾包的開放性特征（Opencall），工作者的個人背景、專業(yè)技能、工作環(huán)境等各不相同且具有不確定性，這種不確定性導(dǎo)致了眾包過程很難保證結(jié)果的質(zhì)量。特別是對于一個任務(wù)規(guī)模較大且不確定的數(shù)據(jù)集，任務(wù)發(fā)布者難以給出足夠詳細(xì)且精確的工作指南，而在沒有非常完備且精準(zhǔn)的工作指南的情況下讓用戶進(jìn)行標(biāo)注，勢必會得到低質(zhì)量的眾包標(biāo)注結(jié)果，并且任務(wù)的較大規(guī)模使得任務(wù)發(fā)布者也難以發(fā)現(xiàn)其中可能存在的結(jié)果質(zhì)量問題，進(jìn)而間接影響了訓(xùn)練模型的效果。

眾包任務(wù)質(zhì)量是眾包領(lǐng)域一直以來的研究熱點(diǎn)和難點(diǎn)。為保證任務(wù)質(zhì)量，傳統(tǒng)的眾包交互模式一般會采用讓多個用戶進(jìn)行統(tǒng)一任務(wù)標(biāo)注的方法，根據(jù)眾數(shù)投票原則，選出得分較高的答案作為最終結(jié)果。這種方法在大多數(shù)情況下是有效的，但對于大規(guī)模且存在歧義的數(shù)據(jù)集，任務(wù)工作者數(shù)量的增加對任務(wù)質(zhì)量的提升并無顯著效果。

究其原因，這種常用的質(zhì)量控制方法，例如眾數(shù)投票、答案聚合、工作者過濾、答案推理等，在本質(zhì)上都是忽略了用戶中產(chǎn)生的不一致答案，將這類不一致信息視為“噪聲” 而不是“信息”，并試圖通過眾數(shù)投票的過程移除這些“噪聲”，將概率較高的答案定義為最終答案。例如，在圖片標(biāo)注、實(shí)體識別等標(biāo)注任務(wù)中，如果標(biāo)注數(shù)據(jù)本身存在歧義或者一詞多義等情況，而發(fā)布者又預(yù)先框定備選答案（選擇“是”或者“否”），導(dǎo)致工作者在不確定的情況下，依然會選擇某一個答案，最終導(dǎo)致低質(zhì)量的眾包結(jié)果。這樣的過程無法過濾出數(shù)據(jù)中存在的歧義，也無法發(fā)現(xiàn)其中的歧義任務(wù)并對其進(jìn)行修訂。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有質(zhì)量控制方法對任務(wù)不一致性的重視程度不足，對用戶的不一致性信息進(jìn)行深入分析和利用，重新考慮這些不一致信息的價值，并提供一種基于用戶不一致性信息的協(xié)同眾包質(zhì)量控制方法，通過與工作者的迭代交互，發(fā)現(xiàn)并利用這些不一致信息，確定眾包中存在的歧義信息，進(jìn)而進(jìn)行質(zhì)量優(yōu)化，為眾包的任務(wù)質(zhì)量控制研究提供新的方法。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是：

一種基于用戶不一致性信息的協(xié)同眾包質(zhì)量控制方法，其特點(diǎn)是：充分利用用戶的不一致性信息來發(fā)現(xiàn)海量眾包任務(wù)中的歧義任務(wù)，并通過迭代優(yōu)化的方式提升任務(wù)質(zhì)量；該方法包括以下具體步驟：

第一步：通過眾包平臺對大規(guī)模眾包任務(wù)進(jìn)行發(fā)布，要求工作者提供答案A、答案B或“不確定”選項；

第二步：判斷題目是否產(chǎn)生差異化較大的不一致答案：如果未產(chǎn)生，則直接確定該題目的最終答案；如果產(chǎn)生，將題目放入不確定集合{N}中，進(jìn)入第三步；