[發明專利]基于強化學習的超快脈沖激光器反向實現方法和系統

在審

• 申請號: 202210415895.X
• 申請日: 2022-04-20
• 公開（公告）號: CN114818488A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 褚桐;義理林;蒲國慶
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F119/02
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種基于強化學習的超快脈沖激光器反向實現方法和系統，包括：步驟1：通過鎖模技術獲取種子源，通過種子源確定脈沖形態和光斑模式；步驟2：采用光纖放大技術對脈沖的功率進行放大，確定脈沖的最終能量和輸出特性；步驟3：將超快激光生成過程進行模塊化和一體化，通過分布傅里葉算法對脈沖在光纖中的傳播過程進行仿真；步驟4：將仿真數據按照預設窗口大小值，輸入到長短期記憶網絡模型LSTM中，并進行分步訓練；步驟5：將訓練后的結果輸入到強化學習DDPG中，得到激光器最優參數，使得激光器快速輸出指定目標脈沖狀態。本發明利用LSTM神經網絡建模替代傳統算法，縮短仿真耗時，提高仿真效率。

技術領域

本發明涉及超快脈沖激光器技術領域，具體地，涉及一種基于強化學習的超快脈沖激光器反向實現方法和系統。

背景技術

脈沖激光器是指單個激光脈沖寬度小于0.25秒、每間隔一定時間才工作一次的激光器，它具有較大輸出功率，適合于激光打標、切割、測距等。

專利文獻CN113922199A(申請號：CN202111141060.1)公開了一種抗回返的主振蕩功率放大脈沖激光器，依次包括種子半導體激光器、回返光處理器、一級放大器、一級回返光處理器、二級放大器、二級回返光處理器、…、n級放大器、n級回返光處理器；設計回返光處理器保證信號光正向傳輸，阻止信號光反向傳輸，阻止非線性激光、ASE光、光路外的回返光反向傳輸，對回返光進行監測。

現有技術主要是通過迭代式的分布傅里葉傳統算法來模擬超快激光的傳輸過程，算法的復雜度高，效率較低，難以滿足為超快激光器進行快速反向設計提供反饋信息的要求；另一方面，目前仍未存在利用精確仿真建模結果來對超快激光器進行反向設計的技術，超快激光器的設計幾乎完全依靠經驗和實驗嘗試。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于強化學習的超快脈沖激光器反向實現方法和系統。

根據本發明提供的基于強化學習的超快脈沖激光器反向實現方法，包括：

步驟1：通過鎖模技術獲取種子源，通過種子源確定脈沖形態和光斑模式；

步驟2：采用光纖放大技術對脈沖的功率進行放大，確定脈沖的最終能量和輸出特性；

步驟3：將超快激光生成過程進行模塊化和一體化，通過分布傅里葉算法對脈沖在光纖中的傳播過程進行仿真；

步驟4：將仿真數據按照預設窗口大小值，輸入到長短期記憶網絡模型LSTM中，并進行分步訓練；

步驟5：將訓練后的結果輸入到強化學習DDPG中，得到激光器最優參數，使得激光器快速輸出指定目標脈沖狀態。

優選的，通過動作估計網絡、動作現實網絡、狀態現實網絡、狀態估計網絡來尋找獲得最大價值的動作，輸出激光器中種子源輸出脈沖特征、展寬光柵的色散系數、增益光纖的增益系數和長度。

優選的，將模型LSTM預測的脈沖輸出作為強化學習DDPG的輸入，選取不同的激光器參數作為動作，通過強化學習來估計Q值，Q值為評價當前動作的價值以及預估未來動作的獎勵值總和，然后計算理想脈沖條件下的Q值與當前狀態和動作下的Q值的均方誤差，搜索使仿真輸出脈沖與目標脈沖之間均方誤差最小的動作，作為最優激光器參數。

優選的，在仿真中，設置光脈沖在光纖中傳輸的距離為h，首先只讓脈沖經歷非線性效應的作用，色散和損耗為零；然后設定非線性效應為零，僅考慮色散和損耗的作用。

優選的，經過傳輸的脈沖振幅表達式為：

其中，A(z，T)代表z方向上在周期T內的脈沖振幅；D代表色散；N代表非線性；線性算符在頻域當中的計算式為：