[發明專利]一種基于多策略深度強化學習的云制造服務組合方法

在審

• 申請號: 202111589813.5
• 申請日: 2021-12-23
• 公開（公告）號: CN114331754A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 曾駿;姚娟;于揚;吳映波
• 申請（專利權）人: 重慶大學
• 主分類號: G06Q50/04
• 分類號: G06Q50/04;G06N3/08;G06N3/04
• 代理公司: 重慶晟軒知識產權代理事務所(普通合伙) 50238
• 代理人: 王海鳳

本發明涉及一種基于多策略深度強化學習的云制造服務組合方法，該方法結合基本DQN算法、競爭結構、雙估計器和優先回放機制，同時還在模型中加入了一些策略，如獎勵策略，ε?greedy策略和啟發式策略，來提高算法的性能。啟發式策略可以屏蔽不可用服務，克服了由于超參數和獎勵設計不合理導致DLR無法恢復到穩定狀態的缺點。獎勵可以讓DLR可以根據真實獎勵值來有效調整參數，ε?greedy策略使算法有機會跳出局部最優。實驗表明該模型不僅具有對動態環境適應性強的優點，而且比其他深度強化學習方法更好。

技術領域

本發明涉及云制造服務組領域，特別涉及一種基于多策略深度強化學習的云制造服務組合方法。

背景技術

在生活質量不斷提高的今天，用戶對個性化產品的需求也越來越大。然而，由于資源有限，單個企業的制造資源和能力已經不能滿足用戶的需求。為了解決這一問題，企業需要通過共享制造資源和能力進行有效地協作。一種面向服務的智能制造新模式--云制造(Cloud manufacturing，CMfg)應運而出。在云制造平臺中，企業共享的制造資源和能力被封裝成服務，通過互聯網提供給用戶選擇。服務組合與優化選擇(Service compositionand optimization selection,SCOS)被認為是云制造平臺實現資源和能力共享的關鍵技術。SCOS根據不同的組合結構，將各種功能不同的細粒度服務集成為具有綜合功能的粗粒度服務，以處理復雜的制造任務，滿足用戶的需求。快速、有效地處理最優組合策略問題受到了廣泛的關注。

到目前為止，許多研究者已經提出了很多啟發式的方法來解決SCOS問題。這些方法雖然促進了SCOS的研究工作，但他們缺乏對動態環境的適應性。例如，當環境發生變化時，算法可能需要重新設計。因此，SCOS問題需要新的方法。基于此，一些研究者認為強化學習(Reinforcement Learning,RL)對動態環境具有適應性，并試圖利用強化學習來解決SCOS環境變化問題。例如，Wang等人采用深度強化學習(Deep Reinforcement Learning,DRL)來解決SCOS問題，他將狀態集劃分為兩個狀態子集，并根據不同類型的狀態選擇行為策略。深度強化學習方法雖然在環境突然變化時，可以通過適應性重新調整系統達到穩定狀態。但是如果算法中的超參數(hyper-parameters)和獎勵(reward)設計不合理時，就很難重新回到穩定狀態。

發明內容

針對現有技術存在的上述問題，本發明要解決的技術問題是：現有算法的不適合解決復雜動態的服務組合問題和在超參數和獎勵設計不合理時很難重新回到穩定狀態的問題。

為解決上述技術問題，本發明采用如下技術方案：一種基于多策略深度強化學習的云制造服務組合方法，包括如下步驟：

S1：通過現有方法獲取虛擬數據集，該虛擬數據集由多個服務組成；

設一個任務T由n個子任務構成，一個子任務對應一個服務集，服務集中的一個服務對應一個動作，每個服務具有多個QoS屬性值，所述QoS屬性值是取[0.7，0.95]之間的任一數據值；

定義：

T＝{t₁，t₂，...t_i...t_n}，t_i表示T的第i個子任務，i＝1，2，...n；

表示子任務t_i對應的第μ個服務，μ＝1，2，...c；

表示子任務t_i對應的第μ個服務所對應的動作；

表示子任務t_i對應的第μ個服務QoS屬性值，該第μ個服務QoS屬性值是對第μ個服務對應的多個QoS屬性值進行歸一化后得到的；

m₁為當前任務T求得的服務鏈中所有服務QoS值的算術平均值；