[發明專利]一種基于深度強化學習和區塊鏈的空間眾包方法

有效

• 申請號: 202110725729.5
• 申請日: 2021-06-29
• 公開（公告）號: CN113553613B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 林暉;胡嘉;汪曉丁;妙秦陽
• 申請（專利權）人: 福建師范大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/64;G06Q40/04;G06F16/27
• 代理公司: 福州市博深專利事務所(普通合伙) 35214
• 代理人: 林振杰

1.一種基于深度強化學習和區塊鏈的空間眾包方法，其特征在于，包括：

S1、空間眾包層通過用戶信用管理機制對用戶端進行管理，并且通過任務分類和分級管理方法對眾包任務進行管理；

所述步驟S1具體包括：

S11、在任務分級階段，所述空間眾包層根據預先定義的任務隱私安全需求和任務區域，將所述眾包任務劃分不同的任務類別；

S12、在分級管理階段，所述空間眾包層基于Hyperledger?Fabric，將多子鏈結構作為分布式服務器，進行所述眾包任務的分級管理，并將不同類別的所述眾包任務放入不同的子鏈；

S2、區塊鏈層基于Hyperledger?Fabric構建私有區塊鏈，將所述眾包任務作為交易存儲在所述區塊鏈上；

步驟S2包括：

將所述用戶端、所述子鏈與所述眾包任務分為多個對應級別，并將所述眾包任務與所述用戶端的信息存入對應的所述子鏈中，所述用戶端僅能搜索到與所述用戶端的級別對應的所述眾包任務；

S3、DRL層選擇可靠的任務接收者，并動態選擇區塊鏈的塊大小、塊生成時間和塊生成節點；

所述步驟S3具體包括：

S31、采用DRL技術，根據申請任務的所述用戶端狀態和當前任務狀態，動態地將任務分配給用戶端，其中，DRL的狀態、動作和獎勵的定義如下：

狀態：

進行用戶端選擇時，根據任務位置LT、用戶端位置LW和任務完成時間限制TS_l，將每個時隙t內的狀態空間表示為：

S^(t)＝[LT,LW,TS_l]^(t)

其中：

LT＝(x^t,y^t)

LW＝(x^w,y^w)

所述用戶端位置與所述任務位置之間的距離定義為歐式距離，表示為：

動作：為了動態地選擇值得信任的所述用戶端，根據用戶端的信用和用戶端的移動將每個時隙內地動作表示為：

A^(t)＝[Credit?_w,d_w]

其中，Credit?_w表示申請任務的所述用戶端的信用，d_w表示所述用戶端移動的距離；

獎勵：每個時隙滿足以下條件：

P1:maxQ(S,A)

C1:dist_(t,w)≤M_max

其中，動作函數Q(S,A)是根據折扣因子γ∈(0,1]和即時獎勵R^(t)構造的：

2.根據權利要求1所述的一種基于深度強化學習和區塊鏈的空間眾包方法，所述空間眾包層分為任務管理模塊和用戶管理模塊，其特征在于，所述空間眾包層通過所述任務管理模塊和所述用戶管理模塊將任務和所述用戶端劃分為不同的安全級別，并在所述眾包任務的發布和分配過程中進行不同的管理。

3.根據權利要求1所述的一種基于深度強化學習和區塊鏈的空間眾包方法，所述區塊鏈層包括子鏈機制和去中心化的服務器模塊，其特征在于，

所述子鏈機制為不同安全級別的所述眾包任務構建不同的子鏈，所述去中心化的服務器模塊作為去中心化的服務器管理所述子鏈上的所述眾包任務和所述用戶端信息。

4.根據權利要求1所述的一種基于深度強化學習和區塊鏈的空間眾包方法，所述DRL層上包括眾包任務分配模塊和性能改進模塊，其特征在于，

所述DRL層通過所述眾包任務分配模塊和性能改進模塊進行所述眾包任務的分配。

5.根據權利要求1所述的一種基于深度強化學習和區塊鏈的空間眾包方法，其特征在于，所述步驟S3還包括：

S32、當用戶端完成任務后，對所述用戶端的信用進行更新，更新方法為：

其中，Credit?_w代表當前的工人信用，T_w代表工人完成任務的實際時間，β代表任務等級的獎勵，d_w代表工人執行任務所需的實際距離，d_max代表工人可以移動的最大距離，Tlevel代表任務級別的權重；

所述任務級別的權重Tlevel通過Ascll碼表示，具體為：

其中，T_Ascll表示當前任務等級的Ascll碼，表示當前工人執行的任務總數，表示由工人執行所有任務的Ascll碼總和。