[發明專利]一種檢測串謀的眾包方法

在審

• 申請號: 202210517901.2
• 申請日: 2022-05-12
• 公開（公告）號: CN114997598A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 徐文濤;丁鑫怡;韓燾;方毅立
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 杭州奧創知識產權代理有限公司 33272
• 代理人: 王佳健

本發明公開了一種檢測串謀的眾包方法。本發明將眾包工人與工人之間的關系映射到圖，并提出了一種基于圖的串謀檢測方法，通過本發明可以檢測到工人中的串謀團體，捕捉非正常行為工人之間的協作關系；通過檢測出串謀團體后，過濾掉串謀工人產生的數據，很大程度提高了被串謀工人影響后數據集的質量。

技術領域

本發明涉及一種眾包方法，具體是一種檢測串謀的眾包方法。

背景技術

眾包是在眾包平臺等平臺上通過傭金招募大量匿名員工來解決發布任務的一種方式，它廣泛應用于圖像標注、翻譯、情感分析等任務中。它幫助人們收集真實世界的數據，或者是有創造性的數據。Amazon Mechanical Turk是最著名的平臺之一，任務請求者可以使用它將任務分配給不同的工作人員，這也是近年來眾包變得如此普遍的一個主要原因。

考慮到單個工人的不可靠性，眾包通常的做法是分配多余的任務，并雇傭多個工人來完成相同的任務。然后，聚合算法應用于工人的回答，以推斷高質量的任務答案。值得注意的是，有研究提出，迄今為止大多數的真值發現方法都是基于以下，即來自工人的不可靠的回答通常是由于自然中不可避免的隨機性，例如粗心、缺乏知識等。然而，這種金錢獎勵已經開始吸引惡意工人通過一些策略來賺取更多，比如抄襲，串通答案和協作等串謀策略，最近的研究表明，在眾包平臺上的工人之間往往存在隱藏的合作網絡。雖然目前的眾包平臺不支持這種串謀行為，但工人仍然可以通過多個渠道組成自己的群體，這可能會嚴重損害眾包任務的獨立性和多樣性。

如何識別眾包平臺中的惡意工作者，以及如何減少這些惡意行為對收集數據質量的影響，是眾包社區面臨的主要挑戰，有一些相關的檢測方法被提出。Ashiqur RKhudaBukhsh,等人在2014年提供了一種在眾包中面對非對抗性共謀時的共謀檢測方法。然而，這種方法只對基于意見的評分任務有效。對于工人的重復提交，Peng-Peng Chen等人在2018年提出了一種防御機制。他們通過工人績效的變化率來判斷眾包中串謀的工人，其變化率的特點是不斷的刪除工人的答案來計算刪除前后數據的信息熵的變化。MinghongFang等人在2021年針對于工人的惡意回答提出了一種防御機制，但這種方法有一個太強的假設，即必須知道眾包系統正在受到攻擊，且知道攻擊者攻擊的目標。

發明內容

本發明針對現有技術的不足，提供了一種檢測串謀的眾包方法。

本發明包含以下步驟：

步驟1，請求者將任務發給眾包平臺來發布；

步驟2，眾包平臺根據平臺的規定以及一定的分配策略對任務進行分配、收集和處理；

步驟3，對平臺處理完之后的任務進行串謀檢測；

步驟4，對收集得到的眾包任務以及答案進行串謀檢測后，如果為正常工人的提供的答案則跳轉至步驟5，如果是串謀工人提供的答案便過濾掉并跳轉至步驟6；

步驟5，對收集得到的任務答案進行匯聚并返回給請求者；

步驟6：將檢測到的串謀工人在眾包平臺做記錄。

其中步驟4中，所述串謀檢測包括：

獲取任意兩個獨立的工人對同一任務回答完全一致的概率；

將所述概率的倒數記為k-shell分解算法中的節點與節點之間得權重，計算每個節點的串謀權重，通過串謀權重與該節點閾值的比較，判斷該節點所代表的工人是否為串謀工人。

本發明的有益效果：本發明將眾包工人與工人之間的關系映射到圖，并提出了一種基于圖的串謀檢測方法，通過本發明可以檢測到工人中的串謀團體，捕捉非正常行為工人之間的協作關系；通過檢測出串謀團體后，過濾掉串謀工人產生的數據，很大程度提高了被串謀工人影響后數據集的質量。

附圖說明

圖1為本發明的框架圖；