[發(fā)明專利]一種閥門智能協(xié)作控制方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110169108.3
• 申請(qǐng)日: 2021-02-07
• 公開（公告）號(hào): CN113033815A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 林凡;張秋鎮(zhèn);黃富鏗
• 申請(qǐng)（專利權(quán)）人: 廣州杰賽科技股份有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06Q50/06;H04L29/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種閥門智能協(xié)作控制方法，其特征在于，包括：

檢測主管道的壓力以及設(shè)置在所述主管道上的所有閥門的啟閉狀態(tài)；

根據(jù)所述主管道的壓力以及所有閥門的啟閉狀態(tài)，確定所述主管道的當(dāng)前環(huán)境狀態(tài)；

根據(jù)預(yù)先建立的質(zhì)量值表以及主管道的當(dāng)前環(huán)境狀態(tài)，采用貪婪算法從所有可能聯(lián)合動(dòng)作中選取一個(gè)可能聯(lián)合動(dòng)作；其中，所述質(zhì)量值表基于強(qiáng)化學(xué)習(xí)算法建立，并記錄了不同種環(huán)境狀態(tài)下選擇不同聯(lián)合動(dòng)作時(shí)對(duì)應(yīng)的質(zhì)量值；

控制所述閥門按照選取出的可能聯(lián)合動(dòng)作執(zhí)行相應(yīng)動(dòng)作。

2.如權(quán)利要求1所述的閥門智能協(xié)作控制方法，其特征在于，所述控制所述閥門按照選取出的可能聯(lián)合動(dòng)作執(zhí)行相應(yīng)動(dòng)作之后，還包括：

檢測所述主管道的當(dāng)前壓力以及所有閥門的當(dāng)前啟閉狀態(tài)；

根據(jù)所述主管道的當(dāng)前壓力以及所有閥門的當(dāng)前啟閉狀態(tài)，確定獎(jiǎng)勵(lì)值以及下一環(huán)境狀態(tài)；

根據(jù)所述獎(jiǎng)勵(lì)值、下一環(huán)境狀態(tài)以及當(dāng)前環(huán)境狀態(tài)下選取出的可能聯(lián)合動(dòng)作對(duì)應(yīng)的質(zhì)量值，采用強(qiáng)化學(xué)習(xí)算法對(duì)所述質(zhì)量值表中的質(zhì)量值進(jìn)行更新。

3.如權(quán)利要求1所述的閥門智能協(xié)作控制方法，其特征在于，所述方法還包括質(zhì)量值表建立步驟：

根據(jù)所述主管道的所有環(huán)境狀態(tài)，構(gòu)建狀態(tài)集合；

對(duì)所有閥門的動(dòng)作進(jìn)行隨機(jī)組合，得到若干種可能聯(lián)合動(dòng)作；并根據(jù)若干種所述可能聯(lián)合動(dòng)作，構(gòu)建聯(lián)合動(dòng)作集合；

根據(jù)所述狀態(tài)集合和所述聯(lián)合動(dòng)作集合，建立在不同環(huán)境狀態(tài)下選擇不同可能聯(lián)合動(dòng)作的質(zhì)量值表；其中，所述質(zhì)量值表中的所有質(zhì)量值的初始值設(shè)置為第一預(yù)設(shè)值。

4.如權(quán)利要求2所述的閥門智能協(xié)作控制方法，其特征在于，所述環(huán)境狀態(tài)包括主管道壓力正常的第一狀態(tài)、所有閥門關(guān)閉的第二狀態(tài)、主管道壓力超閾值的第三狀態(tài)以及除第一、二、三狀態(tài)以外的第四狀態(tài)；

所述根據(jù)所述主管道的當(dāng)前壓力以及所有閥門的當(dāng)前啟閉狀態(tài)，確定獎(jiǎng)勵(lì)值以及下一環(huán)境狀態(tài)，包括：

判斷所述主管道的當(dāng)前壓力是否處于預(yù)設(shè)的安全壓力范圍內(nèi)、或者所述主管道的當(dāng)前壓力是否超過預(yù)設(shè)的壓力閾值、或者所有閥門是否均處于閉合狀態(tài)；

當(dāng)所述當(dāng)前壓力處于預(yù)設(shè)安全壓力范圍內(nèi)時(shí)，判斷出所述主管道的下一環(huán)境狀態(tài)為第一狀態(tài)；

當(dāng)所有閥門均處于閉合狀態(tài)時(shí)，判斷出所述主管道的下一環(huán)境狀態(tài)為第二狀態(tài)；

當(dāng)所述當(dāng)前壓力超過所述壓力閾值時(shí)，判斷出所述主管道的下一環(huán)境狀態(tài)為第三狀態(tài)；

當(dāng)所述當(dāng)前壓力不處于預(yù)設(shè)安全壓力范圍內(nèi)、或不是所有閥門均處于閉合狀態(tài)、或所述當(dāng)前壓力不超過所述壓力閾值時(shí)，判斷出所述主管道的下一環(huán)境狀態(tài)為第四狀態(tài)；

根據(jù)判斷出的下一環(huán)境狀態(tài)以及預(yù)設(shè)的獎(jiǎng)勵(lì)函數(shù)，確定下一環(huán)境狀態(tài)對(duì)應(yīng)的獎(jiǎng)勵(lì)值。

5.如權(quán)利要求2所述的閥門智能協(xié)作控制方法，其特征在于，所述根據(jù)所述獎(jiǎng)勵(lì)值、下一環(huán)境狀態(tài)以及當(dāng)前環(huán)境狀態(tài)下選取出的可能聯(lián)合動(dòng)作對(duì)應(yīng)的質(zhì)量值，采用強(qiáng)化學(xué)習(xí)算法對(duì)所述質(zhì)量值表中的質(zhì)量值進(jìn)行更新，包括：

采用公式(1)對(duì)所述質(zhì)量值表中當(dāng)前環(huán)境狀態(tài)下選取出的第i個(gè)可能聯(lián)合動(dòng)作對(duì)應(yīng)的質(zhì)量值進(jìn)行更新，并進(jìn)行計(jì)數(shù)處理，得到當(dāng)前計(jì)數(shù)值；

其中，Q(S_t,A′_t)表示當(dāng)前環(huán)境狀態(tài)S_t下選取出的可能聯(lián)合動(dòng)作A′_t對(duì)應(yīng)的更新后的質(zhì)量值，[Q(S_t,A′_t)]'表示當(dāng)前環(huán)境狀態(tài)S_t下選取出的可能聯(lián)合動(dòng)作A′_t對(duì)應(yīng)的更新前的質(zhì)量值；表示下一環(huán)境狀態(tài)S_t+1下選取出的可能聯(lián)合動(dòng)作A′_t+1對(duì)應(yīng)的的最大質(zhì)量值；α表示強(qiáng)化學(xué)習(xí)算法的衰減因子；γ表示強(qiáng)化學(xué)習(xí)算法的學(xué)習(xí)效率；R表示獎(jiǎng)勵(lì)值；

判斷當(dāng)前計(jì)數(shù)值是否大于預(yù)設(shè)的學(xué)習(xí)周期；

當(dāng)當(dāng)前計(jì)數(shù)值大于等于所述學(xué)習(xí)周期時(shí)，確認(rèn)完成所述質(zhì)量值表的更新；

當(dāng)當(dāng)前計(jì)數(shù)值小于所述學(xué)習(xí)周期時(shí)，采用貪婪算法從對(duì)應(yīng)的所有可能聯(lián)合動(dòng)作中選取出第i+1個(gè)可能聯(lián)合動(dòng)作，并控制所述閥門按照選取出第i+1個(gè)可能聯(lián)合動(dòng)作執(zhí)行相應(yīng)動(dòng)作以及當(dāng)前環(huán)境狀態(tài)下選取出的第i+1個(gè)可能聯(lián)合動(dòng)作對(duì)應(yīng)的質(zhì)量值進(jìn)行更新。