[發(fā)明專利]應(yīng)用人工智能優(yōu)化企業(yè)供應(yīng)鏈的方法、系統(tǒng)、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 201711071809.3
• 申請日: 2017-11-03
• 公開（公告）號: CN109754104B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計）人: 費(fèi)翔;劉珂;盧維成
• 申請（專利權(quán)）人: 蘇州飛榴科技有限公司
• 主分類號: G06Q30/0202
• 分類號: G06Q30/0202;G06Q10/0631;G06N3/092
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 高彥

1.一種應(yīng)用人工智能優(yōu)化企業(yè)供應(yīng)鏈的方法，其特征在于，包括：

根據(jù)歷史策略，應(yīng)用深度強(qiáng)化學(xué)習(xí)獲得策略網(wǎng)絡(luò)；

通過對不同種類產(chǎn)品的歷史需求分析來生成時變的市場需求分布；

利用對所述市場需求分布的第一采樣數(shù)據(jù)訓(xùn)練所述策略網(wǎng)絡(luò)而獲得增強(qiáng)策略網(wǎng)絡(luò)；

對所述增強(qiáng)策略網(wǎng)絡(luò)應(yīng)用深度強(qiáng)化學(xué)習(xí)獲得價值網(wǎng)絡(luò)；

所述增強(qiáng)策略網(wǎng)絡(luò)根據(jù)實(shí)時供應(yīng)鏈數(shù)據(jù)獲得各種下一步策略的初始得分；

采樣所預(yù)測的市場需求預(yù)測數(shù)據(jù)獲得第二采樣數(shù)據(jù)，所述增強(qiáng)策略網(wǎng)絡(luò)根據(jù)所述第二采樣數(shù)據(jù)獲得所述各種下一步策略的第一價值得分，并通過所述價值網(wǎng)絡(luò)獲得所述各種下一步策略的第二價值得分，綜合所述第一價值得分和第二價值得分得到價值網(wǎng)絡(luò)綜合得分；

結(jié)合所述價值網(wǎng)絡(luò)綜合得分及所述初始得分來確定最終下一步策略，包括：在一個供應(yīng)鏈狀態(tài)下的各可能動作中，令所述初始得分和所述價值網(wǎng)絡(luò)綜合得分最高的動作值為最終下一步動作值，其對應(yīng)的策略為最終下一步策略。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述供應(yīng)鏈在每次供應(yīng)鏈決策周期包括一或多個供應(yīng)鏈狀態(tài)，每個供應(yīng)鏈狀態(tài)在動作的作用下切換至下一個供應(yīng)鏈狀態(tài)，其中，每次供應(yīng)鏈狀態(tài)切換形成有對應(yīng)的反饋，一個供應(yīng)鏈決策周期中的各個反饋累積形成累計反饋；

所述動作對應(yīng)有策略。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，以一個供應(yīng)鏈周期為樣本，所述策略網(wǎng)絡(luò)對應(yīng)每個樣本中的每個供應(yīng)鏈狀態(tài)得到最佳動作值和最大累計反饋。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述策略網(wǎng)絡(luò)是通過深度確定性策略梯度模型對深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的，所述深度確定性策略梯度模型包括：動作網(wǎng)絡(luò)及校正網(wǎng)絡(luò)，所述動作網(wǎng)絡(luò)輸入供應(yīng)鏈狀態(tài)，并輸出動作值；所述校正網(wǎng)絡(luò)輸入供應(yīng)鏈狀態(tài)以及所述動作網(wǎng)絡(luò)所輸出的動作值，并輸出累計反饋；所述校正網(wǎng)絡(luò)用貝爾曼方程更新所述累計反饋,動作網(wǎng)絡(luò)從校正網(wǎng)絡(luò)對應(yīng)所輸入的動作值而計算出的導(dǎo)數(shù)來進(jìn)行更新。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用對所述市場需求分布的第一采樣數(shù)據(jù)訓(xùn)練所述策略網(wǎng)絡(luò)而獲得增強(qiáng)策略網(wǎng)絡(luò)，包括：

以每個供應(yīng)鏈周期生成樣本，結(jié)合所述第一采樣數(shù)據(jù)及供應(yīng)鏈上各業(yè)務(wù)部門的業(yè)務(wù)信息，提取內(nèi)容包括：供應(yīng)鏈狀態(tài)及所需反饋；

所述策略網(wǎng)絡(luò)進(jìn)行處理各個樣本，包括：根據(jù)所提取的每個供應(yīng)鏈周期內(nèi)的各個所述供應(yīng)鏈狀態(tài)及所需反饋生成最佳動作值和每個供應(yīng)鏈周期的最大累計反饋并輸出；

所述策略網(wǎng)絡(luò)在處理所述樣本數(shù)量超過第一預(yù)設(shè)閾值時，生成所述增強(qiáng)策略網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，樣本生成后，存儲至所述策略網(wǎng)絡(luò)，以供下一次對所述市場需求分布采樣。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對所述增強(qiáng)策略網(wǎng)絡(luò)應(yīng)用深度強(qiáng)化學(xué)習(xí)獲得價值網(wǎng)絡(luò)，包括：

以供應(yīng)鏈周期內(nèi)第t步的供應(yīng)鏈狀態(tài)為特征狀態(tài)，將所述特征狀態(tài)作為特征值輸入，以所述特征狀態(tài)的供應(yīng)鏈周期為樣本經(jīng)所述增強(qiáng)策略網(wǎng)絡(luò)計算對應(yīng)的累計反饋?zhàn)鳛闃?biāo)簽，構(gòu)建深度卷積網(wǎng)絡(luò)作為價值網(wǎng)絡(luò)；其中，t為屬于[1,T]的隨機(jī)數(shù)，T是該供應(yīng)鏈周期中的最大步數(shù)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，根據(jù)所述特征狀態(tài)所在的供應(yīng)鏈周期為樣本經(jīng)所述增強(qiáng)策略網(wǎng)絡(luò)計算累計反饋，包括：

在第t步前由增強(qiáng)策略網(wǎng)絡(luò)輸出動作值；

隨機(jī)確定第t步之后每步對應(yīng)的動作值。