[發(fā)明專利]一種基于多策略深度強化學習的云制造服務組合方法

在審

• 申請?zhí)枺?/td>: 202111589813.5
• 申請日: 2021-12-23
• 公開（公告）號: CN114331754A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設計）人: 曾駿;姚娟;于揚;吳映波
• 申請（專利權）人: 重慶大學
• 主分類號: G06Q50/04
• 分類號: G06Q50/04;G06N3/08;G06N3/04
• 代理公司: 重慶晟軒知識產權代理事務所(普通合伙) 50238
• 代理人: 王海鳳

1.一種基于多策略深度強化學習的云制造服務組合方法，其特征在于：包括如下步驟：

S1：通過現(xiàn)有方法獲取虛擬數(shù)據集，該虛擬數(shù)據集由多個服務組成；

設一個任務T由n個子任務構成，一個子任務對應一個服務集，服務集中的一個服務對應一個動作，每個服務具有多個QoS屬性值，所述QoS屬性值是取[0.7,0.95]之間的任一數(shù)據值；

定義：

T＝{t₁,t₂,…t_i…t_n}，t_i表示T的第i個子任務,i＝1,2，…n；

表示子任務t_i對應的第μ個服務，μ＝1,2，…c；

表示子任務t_i對應的第μ個服務所對應的動作；

表示子任務t_i對應的第μ個服務QoS屬性值，該第μ個服務QoS屬性值是對第μ個服務對應的多個QoS屬性值進行歸一化后得到的；

m₁為當前任務T求得的服務鏈中所有服務QoS值的算術平均值；

m₂為間隔設定時間后，當前任務T求得的服務鏈中所有服務QoS值的算術平均值；

S2：構建Multi-D3QN模型，該將DQN算法的網絡結構修改為競爭結構，將DQN算法的隨機采樣機制修改為優(yōu)先回放機制，并在學習階段將單估計器修改為雙估計器；

Multi-D3QN模型還包括模型Q-network和模型Q-target；

S3：初始化Multi-D3QN模型的參數(shù)，初始m₁＝m₂＝0，初始化經驗池D，設定優(yōu)先級，初始化模型Q-network的動作值函數(shù)Q，初始化模型Q-target的動作值函數(shù)Q^*；

S4：從虛擬數(shù)據集中隨機選擇一個任務T；

S5：令k＝1；

S6：令i＝1；

S7：如果m₁m₂，則執(zhí)行S8-1；否則執(zhí)行S8-4；

S8-1：選取t_i的最優(yōu)動作步驟如下：判斷t_i對應的服務集中所有的服務的QoS屬性值是否小于0：

如果t_i對應的第μ個服務的QoS屬性值小于0，則表示有不可用服務，并執(zhí)行下一步；如果t_i對應的第μ個服務的QoS屬性值大于或等于0，則執(zhí)行S8-4；

S8-2：隨機生成一個概率x₁，ε₁表示預設概率，如果x₁ε₁，則準最優(yōu)動作并執(zhí)行下一步，其中，θ表示動作值函數(shù)Q的參數(shù)；

否則在中隨機選擇一個動作作為準最優(yōu)動作并執(zhí)行下一步；

S8-3：判斷準最優(yōu)動作對應的服務的QoS屬性值否小于0：

如果準最優(yōu)動作對應的服務的QoS屬性值小于0則屏蔽對應的服務，并重新隨機選擇一個動作作為

否則將動作作為并執(zhí)行S8；

S8-4：隨機生成一個概率x₂，ε₂表示預設概率：

如果x₂ε₂，則最優(yōu)動作并執(zhí)行下一步，其中，θ表示動作值函數(shù)Q的參數(shù)；

否則在中隨機選擇一個動作作為準最優(yōu)動作

S9：執(zhí)行并將t_i對應的服務集將t_i對應的服務集中所有服務的QoS屬性值和t_i的下一個服務集作為一個樣本存入D中，所述樣本表示為

S10：判斷D中的樣本是否到達最大容量，如果沒有到達在執(zhí)行下一步，否則執(zhí)行S12

S11：判斷i是否大于n，如果是則執(zhí)行下一步，否則令i＝1+1并返回S8；

S12：判斷j是否大于最大迭代次數(shù)，如果是將輸出對應的每個服務均作為最優(yōu)服務，輸出和最優(yōu)服務組成的服務鏈；

否則令k＝k+1，計算m₁和m₂，并更新m₁和m₂并返回S6；

S13：利用S8得到的樣本訓練模型Q-network，并返回S10。