[發(fā)明專利]基于強化學(xué)習(xí)的云制造服務(wù)組合方法

在審

• 申請?zhí)枺?/td>: 202211666315.0
• 申請日: 2022-12-23
• 公開（公告）號: CN116029662A
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計）人: 周麗娟;劉文瑾;羅寧;韋冰;張樹東
• 申請（專利權(quán)）人: 海南大學(xué)
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q50/04;G06Q10/0639;G06Q10/0633;G06N20/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

1.一種基于強化學(xué)習(xí)的云制造服務(wù)組合方法，其特征在于，包括以下步驟：

通過科技服務(wù)協(xié)同平臺接收來自需求方發(fā)布的項目的任務(wù)請求；

通過STS-協(xié)同服務(wù)評價指標(biāo)，對科技服務(wù)協(xié)同平臺中的服務(wù)組合方案進(jìn)行評分；

根據(jù)所述評分利用Q-Learning算法通過無監(jiān)督的方式訓(xùn)練一個學(xué)習(xí)最優(yōu)服務(wù)組合路徑的agent，對所述任務(wù)請求進(jìn)行最佳的組合服務(wù)方案的選擇。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過STS-協(xié)同服務(wù)評價指標(biāo)，對科技服務(wù)協(xié)同平臺中的服務(wù)組合方案進(jìn)行評分，包括：

通過需求方在所述科技服務(wù)協(xié)同平臺上發(fā)布定制需求的評價分?jǐn)?shù)，以及由專業(yè)人員對云制造服務(wù)組合方案的評價分?jǐn)?shù)以及所述組合服務(wù)方案在科技服務(wù)協(xié)同平臺的交易比例進(jìn)行加權(quán)計算。

3.根據(jù)根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括：

所述STS-協(xié)同服務(wù)綜合評價指標(biāo)的計算方式如以下等式所示：

Score＝ω₁S_avg+ω₂S₂+ω₃S₃，

其中，Score是該云制造組合服務(wù)的分?jǐn)?shù)，ω₁，ω₂，ω₃是權(quán)重參數(shù)，S_avg是需求方對該組合服務(wù)中每一個服務(wù)的評價分?jǐn)?shù)的平均值，s_i是需求方對第i個服務(wù)的評價分?jǐn)?shù)，n是組合服務(wù)中服務(wù)的數(shù)量，S₂是專家對該云制造組合服務(wù)的評分，S₃是該組合服務(wù)在科技服務(wù)協(xié)同平臺中交易次數(shù)比例的得分。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在對科技服務(wù)協(xié)同平臺中的服務(wù)組合方案進(jìn)行評分之后，還包括：

使用天際線運算消除用戶不感興趣的服務(wù)減小組合服務(wù)問題求解的規(guī)模。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述評分利用Q-Learning算法通過無監(jiān)督的方式訓(xùn)練一個學(xué)習(xí)最優(yōu)服務(wù)組合路徑的agent，包括：

任意數(shù)值初始化Q(s,a)，并且Q(terminal-state,·)＝0

重復(fù)：初始化狀態(tài)S；

重復(fù)：使用預(yù)定策略，根據(jù)狀態(tài)S選擇一個動作執(zhí)行；

執(zhí)行完成動作后得到reward和新的狀態(tài)S′；

Q(s_t,A_t)←Q(s_t,A_t)+α[r+γmax_a'Q(s',a')-Q(s,a)]；

S←S'

循環(huán)到S終止；

其中，s表示狀態(tài)，a表示動作，S表示狀態(tài)集合，A表示動作集合，t表示時刻，r表示回報，Q表示記錄在Q表中的Q值，ε表示衰減因子，γ表示考慮未來獎勵的因子，α表示權(quán)衡上一次學(xué)到結(jié)果和這一次學(xué)習(xí)結(jié)果的量。

6.一種基于強化學(xué)習(xí)的云制造服務(wù)組合裝置，其特征在于，包括以下模塊：

接收模塊，用于通過科技服務(wù)協(xié)同平臺接收來自需求方發(fā)布的項目的任務(wù)請求；

評分模塊，用于通過STS-協(xié)同服務(wù)評價指標(biāo)，對科技服務(wù)協(xié)同平臺中的服務(wù)組合方案進(jìn)行評分；

選擇模塊，用于根據(jù)所述評分利用Q-Learning算法通過無監(jiān)督的方式訓(xùn)練一個學(xué)習(xí)最優(yōu)服務(wù)組合路徑的agent，對所述任務(wù)請求進(jìn)行最佳的組合服務(wù)方案的選擇。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述評分模塊，還用于：

通過需求方在所述科技服務(wù)協(xié)同平臺上發(fā)布定制需求的評價分?jǐn)?shù)，以及由專業(yè)人員對云制造服務(wù)組合方案的評價分?jǐn)?shù)以及所述組合服務(wù)方案在科技服務(wù)協(xié)同平臺的交易比例進(jìn)行加權(quán)計算。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述評分模塊，還用于：

使用天際線運算消除用戶不感興趣的服務(wù)減小組合服務(wù)問題求解的規(guī)模。