[發(fā)明專利]業(yè)務(wù)資源的調(diào)度方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010170535.9
• 申請(qǐng)日: 2020-03-12
• 公開(kāi)（公告）號(hào): CN113391888A
• 公開(kāi)（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 王應(yīng)德
• 申請(qǐng)（專利權(quán)）人: 北京京東振世信息技術(shù)有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06N3/04;G06N3/08
• 代理公司: 北京律智知識(shí)產(chǎn)權(quán)代理有限公司 11438
• 代理人: 孫寶海;袁禮君

1.一種業(yè)務(wù)資源的調(diào)度方法，其特征在于，包括：

確定當(dāng)前時(shí)間是否為業(yè)務(wù)資源調(diào)度的決策時(shí)刻；

當(dāng)所述當(dāng)前時(shí)間為所述決策時(shí)刻時(shí)，分別執(zhí)行如下操作：

確定當(dāng)前時(shí)間所處的當(dāng)前時(shí)間段；

獲取當(dāng)前時(shí)間段的第一待處理對(duì)象的信息及用于處理所述第一待處理對(duì)象的第一業(yè)務(wù)資源的配置信息；

根據(jù)所述當(dāng)前時(shí)間段、所述當(dāng)前時(shí)間段的第一業(yè)務(wù)資源的配置信息及第一待處理對(duì)象的信息，構(gòu)建所述當(dāng)前時(shí)間段的狀態(tài)；

基于DQN算法模型，確定在所述當(dāng)前時(shí)間段的狀態(tài)下待執(zhí)行的資源調(diào)度動(dòng)作；

執(zhí)行確定的所述待執(zhí)行的資源調(diào)度動(dòng)作，重新配置所述第一業(yè)務(wù)資源。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于DQN算法模型，確定在所述當(dāng)前時(shí)間段的狀態(tài)下待執(zhí)行的資源調(diào)度動(dòng)作包括：

將所述當(dāng)前時(shí)間段的狀態(tài)輸入至所述DQN算法模型，分別確定在所述當(dāng)前時(shí)間段的狀態(tài)下，執(zhí)行與所述當(dāng)前時(shí)間段的狀態(tài)相關(guān)聯(lián)的各資源調(diào)度動(dòng)作的預(yù)期報(bào)酬；

基于各資源調(diào)度動(dòng)作的預(yù)期報(bào)酬，確定所述待執(zhí)行的資源調(diào)度操作。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于各資源調(diào)度動(dòng)作的預(yù)期報(bào)酬，確定所述待執(zhí)行的資源調(diào)度操作包括：

以第一預(yù)設(shè)概率隨機(jī)從與所述當(dāng)前時(shí)間段的狀態(tài)相關(guān)聯(lián)的各資源調(diào)度動(dòng)作中選取一個(gè)動(dòng)作作為所述待執(zhí)行的資源調(diào)度動(dòng)作；

以第二預(yù)設(shè)概率從與所述當(dāng)前時(shí)間段的狀態(tài)相關(guān)聯(lián)的各資源調(diào)度動(dòng)作中選取具有最大預(yù)期報(bào)酬的動(dòng)作作為所述待執(zhí)行的資源調(diào)度動(dòng)作；

其中，第一預(yù)設(shè)概率與第二預(yù)設(shè)概率之和為1。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

確定重新配置所述第一業(yè)務(wù)資源后的第二待處理對(duì)象的信息及用于處理所述第二待處理對(duì)象的第二業(yè)務(wù)資源的配置信息；

根據(jù)所述當(dāng)前時(shí)間段的下一個(gè)時(shí)間段、所述第二待處理對(duì)象的信息及所述第二業(yè)務(wù)資源的配置信息，構(gòu)建所述下一個(gè)時(shí)間段的狀態(tài)；

確定執(zhí)行所述待執(zhí)行的資源調(diào)度動(dòng)作后的實(shí)際收益；

將所述當(dāng)前時(shí)間段的狀態(tài)、所述待執(zhí)行的資源調(diào)度動(dòng)作、所述實(shí)際收益及所述下一個(gè)時(shí)間段的狀態(tài)作為一個(gè)樣本，放入回收空間中；

從所述回收空間中隨機(jī)抽取預(yù)設(shè)數(shù)量的樣本，更新所述DQN算法模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，從所述回收空間中隨機(jī)抽取預(yù)設(shè)數(shù)量的樣本，更新所述DQN算法模型包括：

將所述預(yù)設(shè)數(shù)量的樣本分別輸入到所述DQN算法模型中的估計(jì)值網(wǎng)絡(luò)和目標(biāo)值網(wǎng)絡(luò)中，確定各預(yù)估報(bào)酬的估計(jì)值和目標(biāo)值；

根據(jù)所述估計(jì)值和目標(biāo)值確定的損失函數(shù)，更新所述估計(jì)值網(wǎng)絡(luò)的參數(shù)值。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，還包括：

每隔預(yù)設(shè)間隔，基于所述估計(jì)值網(wǎng)絡(luò)參數(shù)值，更新所述目標(biāo)值網(wǎng)絡(luò)的參數(shù)值。

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述實(shí)際收益是根據(jù)第一業(yè)務(wù)資源與第二業(yè)務(wù)資源的使用成本和第一待處理對(duì)象與第二待處理對(duì)象的違約成本確定的。

8.一種業(yè)務(wù)資源的調(diào)度裝置，其特征在于，包括：

時(shí)刻確定模塊，用于確定當(dāng)前時(shí)間是否為業(yè)務(wù)資源調(diào)度的決策時(shí)刻；

操作執(zhí)行模塊，用于當(dāng)所述當(dāng)前時(shí)間為所述決策時(shí)刻時(shí)，分別執(zhí)行操作；所述操作執(zhí)行模塊包括：

時(shí)間段確定模塊，用于確定當(dāng)前時(shí)間所處的當(dāng)前時(shí)間段；

信息獲取模塊，用于獲取當(dāng)前時(shí)間段的第一待處理對(duì)象的信息及用于處理所述第一待處理對(duì)象的第一業(yè)務(wù)資源的配置信息；

狀態(tài)構(gòu)建模塊，用于根據(jù)所述當(dāng)前時(shí)間段、所述當(dāng)前時(shí)間段的第一業(yè)務(wù)資源的配置信息及第一待處理對(duì)象的信息，構(gòu)建所述當(dāng)前時(shí)間段的狀態(tài)；

動(dòng)作確定模塊，用于基于DQN算法模型，確定在所述當(dāng)前時(shí)間段的狀態(tài)下待執(zhí)行的資源調(diào)度動(dòng)作；

動(dòng)作執(zhí)行模塊，用于執(zhí)行確定的所述待執(zhí)行的資源調(diào)度動(dòng)作，重新配置所述第一業(yè)務(wù)資源。