[發(fā)明專利]一種基于強化學習的煙葉容重測量方法

有效

• 申請?zhí)枺?/td>: 202011149673.5
• 申請日: 2020-10-23
• 公開（公告）號: CN112362522B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設計）人: 林森;馮海;菅威;徐榮華;章曉白;孫科雷
• 申請（專利權(quán)）人: 浙江中煙工業(yè)有限責任公司
• 主分類號: G01N5/00
• 分類號: G01N5/00;G01N25/20;G06N3/08
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

本發(fā)明公開了一種基于強化學習的煙葉容重測量方法，包括：構(gòu)建基于強化學習的煙葉容重測量模型：以包含煙葉流量、加水量、筒溫、熱風溫度、蒸汽質(zhì)量流量、出口水分和溫度的回潮滾筒的相關(guān)參數(shù)作為狀態(tài)數(shù)據(jù)，采用強化學習算法中的動作網(wǎng)絡依據(jù)狀態(tài)數(shù)據(jù)推算得到煙葉容重測量值，并根據(jù)煙葉容重測量值與煙葉容重實際值計算動作獎勵值，并依據(jù)該動作獎勵值構(gòu)建TD誤差，依據(jù)TD誤差來構(gòu)建動作網(wǎng)絡和強化學習算法中的評價網(wǎng)絡的損失函數(shù)，依據(jù)損失函數(shù)優(yōu)化更新動作網(wǎng)絡和評價網(wǎng)絡參數(shù)，優(yōu)化結(jié)束后，參數(shù)確定的動作網(wǎng)絡作為煙葉容重測量模型；應用時，煙葉容重測量模型依據(jù)實時采集的回潮滾筒的相關(guān)參數(shù)實時推算輸出煙絲容重測量值。

技術(shù)領(lǐng)域

本發(fā)明屬于煙葉容重測量領(lǐng)域，具體涉及一種基于強化學習的煙葉容重測量方法。

背景技術(shù)

煙葉容重作為一個煙葉指標是跟煙葉的品種息息相關(guān)的，不同類型的煙葉容重差別比較大，目前通常采用了靜態(tài)測量的方法來獲取煙葉的容重，如申請公開號為CN101393101A的專利申請公開了一種采用近紅外光譜測定煙葉葉面密度的方法。和申請公開號為CN106213570的專利申請公開的一種再造煙葉濃縮液密度的測定方法。但是在連續(xù)生產(chǎn)過程中，同一批次產(chǎn)量會混有各種類型的煙葉，造成容重變化的不穩(wěn)定，因而也無法實時獲得完整的容重信息。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于強化學習的煙葉容重測量方法，實現(xiàn)煙葉容重的實時測量。

為實現(xiàn)上述發(fā)明目的，本發(fā)明提供以下技術(shù)方案：

一種基于強化學習的煙葉容重測量方法，包括以下步驟：

構(gòu)建基于強化學習的煙葉容重測量模型，具體過程為：以包含煙葉流量、加水量、筒溫、熱風溫度、蒸汽質(zhì)量流量、出口水分和溫度的回潮滾筒的相關(guān)參數(shù)作為狀態(tài)數(shù)據(jù)，采用強化學習算法中的動作網(wǎng)絡依據(jù)狀態(tài)數(shù)據(jù)推算得到煙葉容重測量值，并根據(jù)煙葉容重測量值與煙葉容重實際值計算動作獎勵值，并依據(jù)該動作獎勵值構(gòu)建TD誤差，依據(jù)TD誤差來構(gòu)建動作網(wǎng)絡和強化學習算法中的評價網(wǎng)絡的損失函數(shù)，依據(jù)損失函數(shù)優(yōu)化更新動作網(wǎng)絡和評價網(wǎng)絡參數(shù)，優(yōu)化結(jié)束后，參數(shù)確定的動作網(wǎng)絡作為煙葉容重測量模型；

應用時，實時采集回潮滾筒的相關(guān)參數(shù)，煙葉容重測量模型依據(jù)回潮滾筒的相關(guān)參數(shù)實時推算輸出煙絲容重測量值。

與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果至少包括：

本發(fā)明提供的基于強化學習的煙葉容重測量方法利用基于強化學習構(gòu)建的煙葉容重測量模型能夠?qū)崟r準確地測量煙葉容重，為PLD出料控制提供數(shù)據(jù)基礎。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖做簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1是本發(fā)明實施例提供的基于強化學習的煙葉容重測量方法的流程圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例對本發(fā)明進行進一步的詳細說明。應當理解，此處所描述的具體實施方式僅僅用以解釋本發(fā)明，并不限定本發(fā)明的保護范圍。

由于占地少，維護方便等原因，煙草生產(chǎn)行業(yè)內(nèi)，柜式喂料機開始逐漸取代倉儲式喂料機。但是柜式喂料機無法采用傳統(tǒng)的PID控制來穩(wěn)定出料流量，因此需要提出一種帶預測模型的出料控制方法，該出料控制方法的原理是通過煙葉的其他指標獲得動態(tài)的煙葉容重變化，再結(jié)合煙葉的體積，計算出柜式喂料機出口出的煙葉質(zhì)量分布，通過調(diào)節(jié)合適的柜式喂料機出料底帶的頻率，提高流量的穩(wěn)定性。