[發明專利]一種抵御串謀的眾包方法

有效

• 申請號: 201911141515.2
• 申請日: 2019-11-20
• 公開（公告）號: CN110930114B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 孫海龍;劉旭東;陳鵬鵬
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q10/06;G06Q30/00
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

本發明提出一種抵御串謀的眾包方法，包括以下步驟：步驟1，請求者通過眾包平臺來發布任務；步驟2，眾包平臺根據平臺的協議和一定的約束條件來進行任務分配；步驟3，任務處理，然后進行答案收集；步驟4，對收集的答案進行串謀檢測，如果為正常工人的答案則跳轉至步驟6，如果為串謀工人的答案跳轉至步驟5；步驟5，對串謀工人的答案進行處理；步驟6，進行答案匯聚，并把匯聚結果提交給請求者。

技術領域

本發明涉及一種眾包方法，尤其涉及一種抵御串謀的眾包方法。

背景技術

眾包旨在利用人群智能去解決對于機器較難的任務。目前，眾包已經在許多應用中取得了成功，如圖片標注、數據收集、軟件開發等。眾包過程主要分為兩階段，即答案收集和答案匯聚。答案收集主要負責把每一個任務分配給合適的工人進行處理，并收回答案。答案匯聚主要關注如何利用多個工人的答案匯聚出高質量的結果。在眾包過程中，保障工人工作的獨立性是實現人類群體智能的前提條件。然而，在實際眾包應用中，工人之間往往卻存在協作關系。另外，工人在平臺之外甚至組成了隱式的協作網絡。雖然工人之間的協作往往有利于提高任務完成的質量，但是協作帶來的頻繁交互往往能夠給工人之間串謀提供了方便。為了在付出盡量少勞動力的條件下獲得盡量高額的報酬，部分工人往往形成串謀小組。在串謀小組中，往往只有一個工人會像正常工人那樣付出勞動并完成任務，剩下的工人會抄襲正常做題工人的大部分任務的答案。在這種情況下，收集到的答案中將會存在大量由于串謀行為產生的重復答案。因為大多數眾包答案匯聚方法都是基于答案出現的頻率進行結果推理的，所以出現的頻率越高的候選答案則認為越可能是正確答案。串謀行為產生的重復答案將會影響甚至主導眾包最后的結果。因此如何有效地抵御眾包中的串謀行為是一個重要的問題。

串謀行為能夠影響甚至主導眾包的結果，有效地檢測并合理地處理串謀行為對眾包的質量保障至關重要。然而現存技術不能有效地檢測和處理眾包中的串謀行為。

在串謀檢測方面，現有基于工人答案相似度的串謀檢測方法的檢測結果往往具有高假陽性。這是因為，實際上高能力的正常工人往往也會提交大量重復且正確的答案。顯然他們提交的答案往往相似度較高。而現有基于工人答案相似度的串謀檢測技術容易把這部分答案錯判為串謀行為產生的答案。另外，現有的基于工人能力表現變化率的檢測方法往往具有高假陰性。這是因為這種方法假設串謀工人是提交完全重復的答案的。但是在實際上，一些串謀者為了躲避檢測，除了抄襲一部分任務之外，他們也會獨自地完成一部分任務，并提交答案。因此，幾乎不存在工人在所有任務上的答案序列是完全相同的。然而，基于工人表現變化率的串謀檢測方法是基于串謀工人在所有任務上的答案序列是完全相同的假設條件的。因此，此類方法往往會錯把串謀工人產生的答案誤判為正常工人的答案。

在串謀處理方面，現有的串謀處理技術對檢測出來的串謀工人的答案進行直接刪除可能會降低最后眾包結果質量。在工人的串謀過程中，在串謀小組中，往往只有一個眾包工人像正常工人一樣來處理任務，而剩下的工人會抄襲這個唯一正常做題的工人的大部分答案。

因此，串謀工人的答案質量和被抄襲工人的能力極其相關。當被抄襲的工人能力較高時，串謀行為會產生更多的高質量并且重復的答案，在這種情況下，串謀產生的答案有利于眾包最終結果的質量。直接消除這些高質量的答案往往會導致答案匯聚結果質量的下降。

發明內容

綜上所述，現有技術不能較好地抵御眾包中的串謀行為。為此，本發明針對現有技術存在的問題，提出了一種抵御串謀的眾包方法，其中，主要包括兩個環節，串謀行為檢測和串謀答案處理。

一種抵御串謀的眾包方法，其特征在于，包括以下步驟：

步驟1，請求者通過眾包平臺來發布任務；

步驟2，眾包平臺根據平臺的協議和一定的約束條件來進行任務分配；

步驟3，任務處理，然后進行答案收集；

步驟4，對收集的答案進行串謀檢測，如果為正常工人的答案則跳轉至步驟6，如果為串謀工人的答案跳轉至步驟5；