[發(fā)明專利]基于多智能體強(qiáng)化學(xué)習(xí)的信貸工廠訂單調(diào)度方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011591872.1
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112288341B
• 公開(kāi)（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 崔潤(rùn)邦;王琦;鄧江;賈寧;黃超琪
• 申請(qǐng)（專利權(quán)）人: 青島泛鈦客科技有限公司
• 主分類號(hào): G06Q10/06
• 分類號(hào): G06Q10/06;G06Q40/02;G06K9/62
• 代理公司: 北京市維詩(shī)律師事務(wù)所 11393
• 代理人: 李翔;楊安進(jìn)

本申請(qǐng)涉及一種基于多智能體強(qiáng)化學(xué)習(xí)的信貸工廠訂單調(diào)度方法及裝置。該方法包括：多智能體將行動(dòng)發(fā)送至環(huán)境；環(huán)境計(jì)算出所述多智能體共享的狀態(tài)以及各個(gè)智能體的獎(jiǎng)勵(lì)；環(huán)境將所述多智能體共享的狀態(tài)以及各個(gè)智能體的獎(jiǎng)勵(lì)發(fā)送至對(duì)應(yīng)的各個(gè)智能體；各個(gè)智能體根據(jù)收到的狀態(tài)以及獎(jiǎng)勵(lì)選擇行動(dòng)；其中，所述多智能體依次處理所述信貸工廠訂單。本申請(qǐng)能夠縮短訂單審批時(shí)間，實(shí)現(xiàn)信貸工廠的智能化調(diào)度管理；能夠使得信貸工廠可以在動(dòng)態(tài)環(huán)境下制定出科學(xué)合理的調(diào)度方案，極大的增強(qiáng)了信貸工廠中訂單調(diào)度的抗干擾能力。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域，尤其涉及一種基于多智能體強(qiáng)化學(xué)習(xí)的信貸工廠訂單調(diào)度方法及裝置。

背景技術(shù)

近年來(lái)消費(fèi)信貸在中國(guó)取得了巨大的成功。消費(fèi)金融公司需要審批客戶提交的貸款訂單，然后確定是否授予貸款。信貸工廠是加速貸款審批的重要手段。消費(fèi)信貸的特點(diǎn)是額度小，頻率高。考慮到消費(fèi)信貸的這些特征，許多公司引入了信貸工廠模式。信貸工廠是新加坡淡馬錫集團(tuán)發(fā)明的一種新型貸款審批模式。信貸工廠模式已被包括中國(guó)銀行，中國(guó)建設(shè)銀行和招商銀行在內(nèi)的多家金融機(jī)構(gòu)采用。類似于工廠流水線，信貸工廠將信貸審批分為幾個(gè)流程，并為每個(gè)流程制定標(biāo)準(zhǔn)化的操作。信貸工廠通過(guò)引入流程標(biāo)準(zhǔn)化來(lái)提高信貸審批流程的效率。

信貸工廠中的一個(gè)關(guān)鍵部分是信貸工廠訂單調(diào)度。合理的信貸工廠訂單調(diào)度可以大大減少申請(qǐng)時(shí)間。在金融公司中（如銀行、保險(xiǎn)或信托等領(lǐng)域），時(shí)間對(duì)客戶來(lái)說(shuō)非常寶貴。同時(shí)時(shí)間也是成本，減少貸款申請(qǐng)時(shí)間意味著降低成本。因此，信貸工廠訂單調(diào)度可以增強(qiáng)公司的成本優(yōu)勢(shì)并提高貸款審批效率。

強(qiáng)化學(xué)習(xí)是優(yōu)化序貫決策問(wèn)題的強(qiáng)大工具。現(xiàn)有技術(shù)中存在采用多智能體強(qiáng)化學(xué)習(xí)（MARL）來(lái)解決車間調(diào)度問(wèn)題，該算法實(shí)現(xiàn)了分散調(diào)度，可用于未知情況而無(wú)需重新訓(xùn)練，但該工作中每個(gè)作業(yè)的到達(dá)時(shí)間和處理時(shí)間是已知的，相比之下，到達(dá)時(shí)間和處理時(shí)間未知的信貸工廠訂單調(diào)度則更為復(fù)雜。

盡管已經(jīng)有不少工作進(jìn)行了MARL算法在訂單調(diào)度問(wèn)題中的應(yīng)用研究，但是對(duì)于具有多機(jī)器、多過(guò)程、隨機(jī)到達(dá)時(shí)間和處理時(shí)間等特點(diǎn)的大規(guī)模實(shí)時(shí)訂單調(diào)度問(wèn)題還沒(méi)有成熟的技術(shù)方案。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)岢隽艘环N基于多智能體強(qiáng)化學(xué)習(xí)的信貸工廠訂單調(diào)度方法及裝置，以提高信貸工廠訂單處理效率。

根據(jù)本申請(qǐng)的一個(gè)方面，提出了一種基于多智能體強(qiáng)化學(xué)習(xí)的信貸工廠訂單調(diào)度方法，該方法包括：

多智能體將行動(dòng)發(fā)送至環(huán)境；

環(huán)境計(jì)算出所述多智能體共享的狀態(tài)以及各個(gè)智能體的獎(jiǎng)勵(lì)；

環(huán)境將所述多智能體共享的狀態(tài)以及各個(gè)智能體的獎(jiǎng)勵(lì)發(fā)送至對(duì)應(yīng)的各個(gè)智能體；

各個(gè)智能體根據(jù)收到的狀態(tài)以及獎(jiǎng)勵(lì)選擇行動(dòng)；

其中，所述多智能體依次處理所述信貸工廠訂單。

優(yōu)選地，所述多智能體的數(shù)量為多個(gè)（如4個(gè)），所述環(huán)境為信貸工廠。

優(yōu)選地，所述行動(dòng)為選擇的調(diào)度規(guī)則。

優(yōu)選地，所述調(diào)度規(guī)則為、先到先服務(wù)、最短松弛時(shí)間、最早截止時(shí)間、以及后到先服務(wù)中的一者，其中松弛時(shí)間為截止時(shí)間與到達(dá)時(shí)間之差。

優(yōu)選地，所述環(huán)境根據(jù)下述步驟計(jì)算獎(jiǎng)勵(lì)：

環(huán)境計(jì)算，其中為在狀態(tài)s下采取動(dòng)作a的衡量指標(biāo)，為第t步信貸工廠訂單的平均等待時(shí)間，為第t步信貸工廠訂單的超時(shí)率；

環(huán)境將 與狀態(tài)s下的平均衡量指標(biāo)相關(guān)的參數(shù)進(jìn)行比較，并根據(jù)比較結(jié)果給出獎(jiǎng)勵(lì)。

優(yōu)選地，所述環(huán)境根據(jù)如下步驟分配獎(jiǎng)勵(lì)：

獲取各個(gè)智能體處理信貸工廠訂單的松弛時(shí)間；至少獲取各個(gè)智能體中信貸工廠訂單的輸入時(shí)間、結(jié)束時(shí)間和等待時(shí)間；