[發明專利]一種基于深度強化學習的自適應眾包方法

有效

• 申請號: 201810362557.8
• 申請日: 2018-04-20
• 公開（公告）號: CN108596335B
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 張寅;楊璞;胡濱
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06Q10/06
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

本發明公開了一種基于深度強化學習的自適應眾包方法。方法具體為：1)首先從眾包系統中采樣需要分配的任務和候選的眾包工人；2)通過深度學習方法獲得待分配任務和候選工人的低維特征表示；3)通過強化學習方法確定任務分配策略；4)眾包系統根據分配策略分配任務，根據任務完成結果評估本次分配獲得的收益，將該收益反饋給強化學習方法，更新強化學習參數；5)從1)開始繼續下一輪的任務分配。和現有技術相比，本發明結合了深度強化學習方法，系統地對任務分配問題進行建模，針對不同任務本身的特征選擇合適的眾包工人，形成了自適應的智能眾包方法，創造性地提升了眾包的工作效率和效果。

技術領域

本發明涉及深度強化學習方法在眾包系統上的應用，尤其涉及眾包系統中工人遴選、任務分配的技術方法。

背景技術

隨著互聯網的快速發展及信息全球化的推進，眾包模式應運而生。眾包是互聯網帶來的新的生產組織形式，改變了傳統的解決方案，是一種分布式解決問題的方式，即利用互聯網將相關工作分解并分配出去，化整為零。通過給予參與用戶適當的獎勵，將空閑生產力利用起來。對于政府和非盈利性組織而言，眾包被認為是一種有潛力的問題解決機制。

眾包在數據標注、圖書電子化、知識圖譜構建等方面都有著廣泛的應用。在數據標注方面，海量非結構化數據需要人為標注轉化為結構化數據，包括有監督深度學習在內的一系列方法都需要大量結構化數據作為支撐。而這些數據標注任務難以在短時間內由少數人完成。在圖書電子化領域，數字圖書館的蓬勃發展使得人們可以通過互聯網訪問海量的圖書資源，節能環保，但現存的掃描版電子書需要大量的人力物力轉換為文本數據。雖然目前的OCR技術已較為成熟，但仍有大量的識別錯誤需要人為修正。除此之外，知識圖譜構建也面臨著類似問題。雖然知識圖譜能夠挖掘、分析、構建、繪制、顯示知識及其相互關系，為學科研究提供切實的、有價值的參考，但知識圖譜的構建過程中命名實體識別、實體關系抽取等任務均需要人工的參與。面對諸如此類的困境，眾包技術的使用可以大大提高工作效率、降低投入成本。

在眾包技術的應用中，任務的具體分配會很大程度影響到生產效率。一份不夠完善的分配方案很有可能導致冗余工作的產生，增大成本，降低產出；反之，一份完善的分配方案能更大程度發揮眾包技術的優勢，提高空閑生產力的利用率。本發明重點對任務分配過程進行建模，將任務集合和工人集合的特點(即任務和工人的原始特征數據)和眾包應用的任務目標相結合，用深度強化學習的方法獲得一份完善的分配方案。

發明內容

為了解決現有技術中存在的問題，本發明提供了一種基于深度強化學習的自適應眾包方法。

本發明結合深度學習和強化學習方法確定任務分配策略。對于某個具體目標的眾包應用，本發明首先通過深度學習方法遴選眾包工人，之后再運用強化學習方法確定具體任務分配，并根據最終任務的完成情況與目標的契合程度的反饋更新強化學習算法參數，優化分配策略。通過結合深度學習與強化學習，本發明不僅保證了任務分配方案契合眾包應用的最終目標，保障了眾包的質量，同時還完成了方法結構的分層，使得任務分配更具靈活性。

為實現上述目的，本發明的技術方案為：

基于深度強化學習的自適應眾包方法，其步驟如下：

S1.首先從眾包系統中采樣需要分配的眾包任務和眾包工人的信息；

S2.通過深度學習方法獲得待分配任務和工人的低維特征表示，具體包括以下子步驟：

S21.獲取原始特征數據，包括眾包任務的原始特征和眾包工人的原始特征；

S22.構建深度神經網絡，包括Encoder和Decoder兩部分，其中Encoder的輸入為原始特征數據，輸出為原始特征的低維表示；Decoder的輸入為Encoder所得的低維表示，輸出為該低維表示的解析結果，即原始特征數據的近似表達；