[發明專利]一種基于Q-learning的發動機轉速控制方法

有效

• 申請號: 202010171213.6
• 申請日: 2020-03-12
• 公開（公告）號: CN111322164B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 孫強;張曉燕;湛勇剛;陳長友;陳維東
• 申請（專利權）人: 寧波潔程汽車科技有限公司
• 主分類號: F02D41/00
• 分類號: F02D41/00;F02D41/14;F02D29/02;F02D9/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開了一種基于Q?learning的發動機轉速控制方法，根據增程器用發動機節氣門開度與轉速的輸入輸出數據，獲得狀態數據和動作數據，制定獎勵函數和策略，利用Q?learning算法對增程器產生的大量輸入輸出數據進行訓練，并且在訓練過程中進行條件限制，最終獲得節氣門開度控制表格，對照表格進行增程器發動機節氣門控制，從而代替傳統PID控制算法，同時可以提高增程器發動機的抗干擾能力。

技術領域

本發明涉及汽車增程器控制技術領域，更具體的說是涉及一種基于Q-learning的發動機轉速控制方法。

背景技術

現有的汽車電子節氣門控制系統結合油門踏板位置、油門踏板變化率和當前工作模式解析駕駛員意圖，獲取基本扭矩需求；然后結合發動機轉速、檔位、車身能耗等計算整車所需的全部扭矩，再對基本節氣門輸出扭矩進行補償，得到節氣門最佳開度，進而將最佳開度對應的電壓信號作用于節氣門驅動電路控制端。

傳統的對于節氣門的驅動控制多為PID控制，傳統PID中各參數調節過程多采用臨界比例法，通過不斷增加或減小比例系數，使控制系統在當前被調參數下做等幅振蕩，然后再反方向調節參數直至振蕩消失，需要花費很多精力和時間，并且需要按照經驗數據確定參數，而標定結果很大程度上依賴于調試人員的經驗，因此對驅動電路的控制精確度較低。

因此，如何提高增程器控制的準確性，增強增程器發動機的抗干擾能力是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種基于Q-learning的發動機轉速控制方法，本發明在借助現有的電子節氣門控制器系統獲得節氣門最佳開度后，對Q-learning算法進行條件限制，在獲得狀態數據和動作數據，制定獎勵函數和策略后，采用深度學習算法的Q-learning對增程器產生的大量輸入輸出數據進行訓練，從而生成影響增程器發動機的速度環制定調整策略的動作獎勵值表，提高增程器控制精確和魯棒性，以及增強增程器發動機的抗干擾能力。

為了實現上述目的，本發明采用如下技術方案：

一種基于Q-learning的發動機轉速控制方法，包括如下步驟：

步驟1：利用電子節氣門控制器系統獲得增程器發動機控制的節氣門目標狀態根據節氣門的開合范圍，將節氣門位置進行離散化，均勻分布到n個采樣點，獲得節氣門位置集合S，并根據所述節氣門位置劃分節氣門動作空間A，根據所述節氣門位置集合S和所述節氣門動作空間A建立Q表，并初始化所述Q表；初始化Q-learning學習過程中學習回合數為i、最大學習回合數σ和單回合最大步數max_steps；

步驟2：采集節氣門當前實際開度，獲得節氣門實際位置；根據所述節氣門實際位置、所述節氣門目標狀態和限制規則獲取所述節氣門動作空間A內的有效動作空間；所述節氣門實際位置為當前狀態s_k；

步驟3：當前回合模擬步數初始設定為0，采用ε-greedy算法在所述有效動作空間內選取節氣門動作a_k，根據所述當前狀態s_k執行所述節氣門動作a_k后，獲得新狀態s_k+1，k表示所述當前回合模擬步數；本次動作中用所述新狀態s_k+1代替所述Q表中的所述節氣門動作a_k，建立動作獎勵值表；

步驟4：根據所述節氣門目標狀態和所述新狀態s_k+1，采用獎勵函數獲得本次動作中執行所述節氣門動作a_k的動作獎勵值r_k+1；

步驟5：根據本次動作中所述動作獎勵值r_k+1更新所述動作獎勵值表中所述當前狀態s_k和所述新狀態s_k+1對應的所述動作獎勵值，k隨著狀態的更新而增加；如果所述當前回合模擬步數k小于所述單回合最大步數max_steps則返回所述步驟3；否則進入所述步驟6；