[發明專利]一種基于強化學習的基片集成波導參數優化方法及結構

有效

• 申請號: 202111165664.X
• 申請日: 2021-09-30
• 公開（公告）號: CN113889737B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 黃永茂;何宇;王未來;江婉
• 申請（專利權）人: 西華大學
• 主分類號: H01P11/00
• 分類號: H01P11/00;H01P3/00;G06N20/00;G06F30/367;G06F30/27;G06F115/12
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 薛波

本發明提供了一種基于強化學習的基片集成波導參數優化方法及結構，方法包括如下步驟：對待優化基片集成波導進行參數提取：參數包括阻抗網絡中阻抗單元的偏轉角度θ，以及加載其上的結構參數L；根據Q?learning算法，基于強化學習中的ε貪婪策略，以參數夾角θ和尺寸L做范圍變化并代入三維電磁場仿真軟件進行變量仿真測試，得到參數對應的獎勵值或懲罰值；根據所述參數對應的獎勵值或懲罰值，得到最優參數。本發明在線下利用深度學習算法學習到最優的基片集成波導優化參數，然后在線上優化時使用，以快速得到給定設計參數及設計目標下最優的優化參數，提高了基片集成波導設計效率。

技術領域

本發明涉及基片集成波導設計技術領域，具體而言，涉及一種基于強化學習的基片集成波導參數優化方法及結構。

背景技術

基片集成波導（Substrate Integrated Waveguide, SIW）技術作為一種新型導波結構，它既保持了傳統金屬波導的高Q值、低損耗、高功率容量等優點，又易于與微帶線、共面波導等各種平面結構相集成。因此，SIW已廣泛地運用于微波毫米波電路系統及微波元器件的設計，如濾波器、定向耦合器、移相器、功率分配/合成器等。對于微波低頻段的應用來說，由于SIW 固有截止頻率的限制，其占電路面積仍然過大，這制約著其在緊湊型微波系統中的應用。2014年，首次提出慢波基片集成波導（Slow-Wave Substrate IntegratedWaveguide, SW-SIW）的概念。對于SIW小型化技術來說，SW-SIW具有十分重要的工程意義和科研價值。

強化學習（Reinforcement Learning, RL），又稱再勵學習、評價學習或增強學習，是機器學習的范式和方法論之一，用于描述和解決智能體在與環境的交互過程中通過學習策略以達成回報最大化或實現特定目標的問題。其靈感來源于心理學中的行為主義理論，即有機體如何在環境給予的獎勵或懲罰的刺激下，逐步形成對刺激的預期，產生能獲得最大利益的習慣性行為。這個方法具有普適性，在其他許多領域都有研究，例如博弈論、控制論、運籌學、信息論、仿真優化、多主體系統學習、群體智能、統計學以及遺傳算法，然而鮮有人把強化學習運用在微波器件的參數優化上。

基片集成波導的寬度以及加載其上的結構尺寸等參數都是影響性能的因素，多數人都是在仿真軟件上手動調參數仿真，非常的耗時耗力且不一定能提升性能，因此如何更好的設計基片集成波導的參數是一個需要研究的問題。而機器學習中的強化學習可以在不耗費人力的情況下讓基片集成波導參數在不斷試錯的過程中達到更好的仿真效果。

發明內容

本發明的目的在于提供一種基于強化學習的基片集成波導參數優化方法，以解決背景技術中所指出的問題。

本發明的實施例通過以下技術方案實現：一種基于強化學習的基片集成波導參數優化方法，包括如下步驟：

步驟一、對待優化基片集成波導進行參數提取：基片集成波導的上表面金屬層上設有由N個直接連接的阻抗單元構成的阻抗網絡，N為大于等于1的正整數，阻抗單元的延伸方向與波導寬度方向呈θ的夾角，阻抗單元為橢圓形金屬貼片及其延伸方向連接的微帶線的組合，橢圓形金屬貼片上開設有橢圓形缺口，其尺寸參數為L，包括橢圓形金屬貼片的短軸長度L₁、長軸長度L₂、微帶線長度L₃以及微帶線間距離L₄；

步驟二、根據Q-learning算法，基于強化學習中的ε貪婪策略，以待優化基片集成波導的參數夾角θ和尺寸L做范圍變化并代入三維電磁場仿真軟件進行變量仿真測試，得到參數對應的獎勵值或懲罰值，其中，所述參數夾角θ的取值范圍為0°~90°；

步驟三、根據所述參數對應的獎勵值或懲罰值，得到最優參數。

根據一種優選實施方式，所述步驟二具體包括：