[發明專利]一種基于Q-learning的發動機轉速控制方法

有效

• 申請號: 202010171213.6
• 申請日: 2020-03-12
• 公開（公告）號: CN111322164B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 孫強;張曉燕;湛勇剛;陳長友;陳維東
• 申請（專利權）人: 寧波潔程汽車科技有限公司
• 主分類號: F02D41/00
• 分類號: F02D41/00;F02D41/14;F02D29/02;F02D9/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種基于Q-learning的發動機轉速控制方法，其特征在于，包括如下步驟：

步驟1：利用電子節氣門控制器系統獲得增程器發動機控制的節氣門目標狀態根據節氣門的開合范圍，將節氣門位置進行離散化，均勻分布到n個采樣點，獲得節氣門位置集合S，并根據所述節氣門位置劃分節氣門動作空間A，根據所述節氣門位置集合S和所述節氣門動作空間A建立Q表，并初始化所述Q表；初始化Q-learning學習過程中學習回合數為i、最大學習回合數σ和單回合最大步數max_steps；

步驟2：采集節氣門當前實際開度，獲得節氣門實際位置；根據所述節氣門實際位置、所述節氣門目標狀態和限制規則獲取所述節氣門動作空間A內的有效動作空間；所述節氣門實際位置為當前狀態s_k；

步驟3：采用ε-greedy算法在所述有效動作空間內選取節氣門動作a_k，根據所述當前狀態s_k執行所述節氣門動作a_k后，獲得新狀態s_k+1，k表示當前回合模擬步數；本次動作中用所述新狀態s_k+1代替所述Q表中的所述節氣門動作a_k，建立動作獎勵值表；

步驟4：根據所述節氣門目標狀態和所述新狀態s_k+1，采用獎勵函數獲得本次動作中執行所述節氣門動作a_k的動作獎勵值r_k+1；

步驟5：根據本次動作中所述動作獎勵值r_k+1更新所述動作獎勵值表中所述當前狀態s_k和所述新狀態s_k+1對應的所述動作獎勵值；如果所述當前回合模擬步數k小于所述單回合最大步數max_steps則返回所述步驟3；否則進入所述步驟6；

步驟6：更新所述學習回合數i＝i+1，如果所述學習回合數i小于所述最大學習回合數σ，則返回所述步驟3；否則所述Q-learning學習結束，獲得所述增程器發動機控制的所述動作獎勵值表；

步驟7：根據所述節氣門實際位置和所述節氣門目標狀態在所述動作獎勵值表中選取最佳所述節氣門動作，從而實現所述增程器發動機控制。

2.根據權利要求1所述的一種基于Q-learning的發動機轉速控制方法，其特征在于，所述限制規則為如果則所述有效動作空間內的所述節氣門動作a_k必須滿足sign(a_k)＝1；如果當前節氣門位置為所述當前狀態s_k，則k時刻選擇的所述節氣門動作a_k必須滿足0≤s_k+a_k≤90。

3.根據權利要求1所述的一種基于Q-learning的發動機轉速控制方法，其特征在于，所述獎勵函數為r(x)＝100-x²/81，x∈[0,90]，其中s_k+1為在k時刻的所述當前狀態s_k下執行所述節氣門動作a_k獲得的k+1時刻的新狀態。

4.根據權利要求1所述的一種基于Q-learning的發動機轉速控制方法，其特征在于，獲得所述有效動作空間的過程為：如果則將所述節氣門動作空間A中所述節氣門動作a_k為0對應列左側的所述節氣門動作刪除，并且將a_k＜-s_k和a_k＞90-s_k對應的所述節氣門動作a_k刪除，剩余的所述節氣門動作a_k組成所述有效動作空間；否則將所述節氣門動作空間A中所述節氣門動作a_k為0對應列右側的所述節氣門動作a_k刪除，并且將a_k＜-s_k和a_k＞90-s_k對應的所述節氣門動作a_k刪除，剩余的所述節氣門動作a_k組成所述有效動作空間；其中所述節氣門動作a_k＝0時，所述節氣門維持原來開度。