[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的智能魚缸水質(zhì)調(diào)節(jié)方法

有效

• 申請?zhí)枺?/td>: 201710475184.0
• 申請日: 2017-06-21
• 公開（公告）號: CN107156020B
• 公開（公告）日: 2019-09-13
• 發(fā)明（設(shè)計）人: 熊慶宇;李昊娟;王震
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: A01K63/04
• 分類號: A01K63/04
• 代理公司: 重慶博凱知識產(chǎn)權(quán)代理有限公司 50212
• 代理人: 黃河;趙英

1.一種基于強(qiáng)化學(xué)習(xí)的智能魚缸水質(zhì)調(diào)節(jié)方法，其特征在于：設(shè)智能魚缸具有N種水質(zhì)狀態(tài)：狀態(tài)1、狀態(tài)2、……狀態(tài)N；預(yù)先構(gòu)建水質(zhì)調(diào)節(jié)方案數(shù)據(jù)庫，一個水質(zhì)調(diào)節(jié)方案是指從當(dāng)前狀態(tài)轉(zhuǎn)移到水質(zhì)平衡狀態(tài)所采取的方案；包括以下步驟：

步驟1：為數(shù)據(jù)庫中每一個水質(zhì)調(diào)節(jié)方案構(gòu)建一個對應(yīng)的回報值矩陣R，回報值矩陣R具有N行N列：其中，回報值矩陣R中的行表示當(dāng)前狀態(tài)s，第1行至第N行依次代表狀態(tài)1至狀態(tài)N；回報值矩陣R中的列表示轉(zhuǎn)移到下一狀態(tài)s′所采取的當(dāng)前行為a；

步驟2：令每一個水質(zhì)調(diào)節(jié)方案所對應(yīng)的經(jīng)驗矩陣為Q；Q為N×N矩陣，初始化經(jīng)驗矩陣Q為零矩陣；

步驟3：根據(jù)對應(yīng)的回報值矩陣R以及按照狀態(tài)轉(zhuǎn)移規(guī)則計算的經(jīng)驗值為每一個水質(zhì)調(diào)節(jié)方案計算經(jīng)驗矩陣Q；其中，經(jīng)驗值的計算公式如下：

Q(s,a)＝r(s,a)+γmax{r(s′,a′)}；

其中，Q(s,a)表示從當(dāng)前狀態(tài)轉(zhuǎn)移到下一狀態(tài)的經(jīng)驗值；s表示當(dāng)前狀態(tài)，a表示當(dāng)前行為，r(s,a)表示回報值矩陣中對應(yīng)的回報值；s′表示下一狀態(tài)，a′表示下一狀態(tài)可能發(fā)生的狀態(tài)轉(zhuǎn)移而采取的下一行為；γ表示學(xué)習(xí)參數(shù)，0≤γ≤1；

步驟4：獲取水質(zhì)當(dāng)前狀態(tài)，根據(jù)水質(zhì)當(dāng)前狀態(tài)選出若干能達(dá)到水質(zhì)平衡狀態(tài)的水質(zhì)調(diào)節(jié)方案；

步驟5：采用對應(yīng)值比較方法比較各水質(zhì)調(diào)節(jié)方案的經(jīng)驗矩陣Q，將各水質(zhì)調(diào)節(jié)方案的經(jīng)驗矩陣Q中對應(yīng)元素的值進(jìn)行比較，選出對應(yīng)元素的值均為最大的經(jīng)驗矩陣作為最大經(jīng)驗矩陣Q_max，以Q_max所對應(yīng)的水質(zhì)調(diào)節(jié)方案作為調(diào)節(jié)當(dāng)前水質(zhì)狀態(tài)的最佳水質(zhì)調(diào)節(jié)方案。

2.根據(jù)權(quán)利要求1所述的智能魚缸的水質(zhì)調(diào)節(jié)方法，其特征在于：設(shè)水質(zhì)狀態(tài)具有以下4種：狀態(tài)1：鹽度與PH同時失衡；狀態(tài)2：鹽度失衡，PH正常；狀態(tài)3：PH失衡，鹽度正常；狀態(tài)4：鹽度與PH均正常，此為水質(zhì)平衡狀態(tài)；

每一水質(zhì)調(diào)節(jié)方案均按如下方式構(gòu)建回報值矩陣R：

其中，v＞t＞d，v表示獎勵值，d表示懲罰值，t表示既不獎勵也不懲罰的中性值。

3.根據(jù)權(quán)利要求2所述的智能魚缸的水質(zhì)調(diào)節(jié)方法，其特征在于：當(dāng)前水質(zhì)狀態(tài)為狀態(tài)1時，要從狀態(tài)1到達(dá)狀態(tài)4，狀態(tài)轉(zhuǎn)移規(guī)則如下：依次進(jìn)行狀態(tài)1到狀態(tài)2、狀態(tài)2到狀態(tài)3、狀態(tài)3到狀態(tài)4的3次狀態(tài)轉(zhuǎn)移；那么當(dāng)前狀態(tài)為狀態(tài)1時，水質(zhì)調(diào)節(jié)方案所對應(yīng)的經(jīng)驗矩陣表示為：

其中，Q(1,2)表示從狀態(tài)1轉(zhuǎn)移到狀態(tài)2的經(jīng)驗值；Q(2,3)表示從狀態(tài)2轉(zhuǎn)移到狀態(tài)3的經(jīng)驗值；Q(3,4)表示從狀態(tài)3轉(zhuǎn)移到狀態(tài)4的經(jīng)驗值。

4.根據(jù)權(quán)利要求2所述的智能魚缸的水質(zhì)調(diào)節(jié)方法，其特征在于：當(dāng)前水質(zhì)狀態(tài)為狀態(tài)2時，要從狀態(tài)2到達(dá)狀態(tài)4，狀態(tài)轉(zhuǎn)移規(guī)則如下：依次進(jìn)行狀態(tài)2到狀態(tài)3、狀態(tài)3到狀態(tài)4的2次狀態(tài)轉(zhuǎn)移；那么當(dāng)前狀態(tài)為狀態(tài)2時，水質(zhì)調(diào)節(jié)方案所對應(yīng)的經(jīng)驗矩陣表示為：

其中，Q(2,3)表示從狀態(tài)2轉(zhuǎn)移到狀態(tài)3的經(jīng)驗值；Q(3,4)表示從狀態(tài)3轉(zhuǎn)移到狀態(tài)4的經(jīng)驗值。

5.根據(jù)權(quán)利要求2所述的智能魚缸的水質(zhì)調(diào)節(jié)方法，其特征在于：當(dāng)前水質(zhì)狀態(tài)為狀態(tài)3時，要從狀態(tài)3到達(dá)狀態(tài)4，只需要進(jìn)行狀態(tài)3到狀態(tài)4的1次狀態(tài)轉(zhuǎn)移；那么當(dāng)前狀態(tài)為狀態(tài)3時，水質(zhì)調(diào)節(jié)方案所對應(yīng)的經(jīng)驗矩陣表示為：

其中，Q(3,4)表示從狀態(tài)3轉(zhuǎn)移到狀態(tài)4的經(jīng)驗值。

6.根據(jù)權(quán)利要求1所述的智能魚缸的水質(zhì)調(diào)節(jié)方法，其特征在于：在水質(zhì)調(diào)節(jié)方案數(shù)據(jù)庫中構(gòu)建多agent的相關(guān)智能魚缸系統(tǒng)，其中，相關(guān)智能魚缸是指養(yǎng)魚種類相同、魚缸大小相似、養(yǎng)魚數(shù)量相似；在計算第i個智能魚缸狀態(tài)轉(zhuǎn)移的經(jīng)驗值時，按如下公式：

其中，p_i表示第i個智能魚缸在相關(guān)智能魚缸系統(tǒng)中的權(quán)重系數(shù)，0＜p≤1；n表示相關(guān)智能魚缸系統(tǒng)中智能魚缸的總數(shù)。