[發明專利]基于強化學習的多維連續型優化變量全局優化方法

有效

• 申請號: 202010340933.0
• 申請日: 2020-04-26
• 公開（公告）號: CN111553118B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 陳剛;王怡星;韓仁坤;張揚
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F18/2415;G06N3/092;G06F111/06
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 何會俠

本發明公開了一種基于強化學習的多維連續型優化變量全局優化方法，該方法包括：強化學習環境的建立；利用強化學習方法在指定優化變量集中選擇指定個數的優化變量，然后再對其取值利用連續型優化變量優化算法進行優化的順序優化策略；優化總體流程以及約束的引入方法。該方法針對多維連續型優化變量全局優化問題，實現了智能優化的目的，并且可以突破傳統全局優化方法對優化變量個數的限制，使人工智能技術在優化方面的廣泛應用成為了可能。可以應用于具有極大規模設計變量的工業設計、制造加工、控制優化、投資決策、系統工程等場合；并且得益于深度強化學習強大的智能組合優化能力，對于變量間存在復雜耦合關系的系統也有很好的全局優化效果。

技術領域

本發明屬于優化算法領域，特別涉及大規模連續取值型優化變量的全局優化方法。

背景技術

優化方法可以基本分為兩大類：基于梯度的優化方法以及全局優化方法。基于梯度的方法對于單極值問題的優化效率很高，但工程實際等場合中大多需要處理復雜的多極值問題，而且基于梯度的方法容易陷入局部最優，不能較好地滿足優化需求。傳統全局優化方法主要包括遺傳算法、粒子群算法等，這類方法具有較好的全局尋優能力，可以適用于復雜的多極值優化問題。然而傳統全局優化算法對優化變量的個數有限制，無法處理具有大規模優化變量的優化問題，優化變量個數一般只能限制在20個左右。考慮到這些方法一般會與代理模型(如響應面、Kriging等)結合，而構建包含多個優化變量的高精度代理模型也是十分困難和耗時的。因此對于具有大規模設計變量的工業設計、制造加工、控制優化、投資決策、系統工程等場合，傳統全局優化算法的實際應用價值較低。另外，傳統全局優化算法收斂速度緩慢難以直接運用于具有復雜作用機制的環境中，比如耗時的高精度流體仿真等場合。此外，現有的主流方法需要一定程度的經驗作為指導，比如智能算法中初始種群的選取、算法參數的設置等，無法實現全自動優化，降低了優化效率。

因此，發展一種具有廣泛適用范圍，有較強全局尋優能力、收斂速度快，且能處理大規模優化變量，并盡可能實現無人工參與的智能優化算法是必要、并具有廣泛需求的。

發明內容

為了解決現有全局優化算法無法支持大規模優化變量，且收斂速度較慢的問題，本發明提出一種基于強化學習的多維連續型優化變量全局優化方法，該優化方法在實際優化過程中可以實現較高程度的智能優化，無需或只需要較少的人工干預，進一步提高了優化效率。

為了達到上述目的，本發明采用如下技術方案：

基于強化學習的多維連續型優化變量全局優化方法，包括以下步驟：

步驟1：定義優化問題，明確優化變量、目標函數以及約束條件；建立用于存儲歷史數據集的數據結構，歷史數據集中的元素為某一優化步下已知全部優化變量取值和目標函數值，該集合中的元素按照優化歷史順序排列；

步驟2：建立基于連續型優化變量取值優化算法和優化效果量化評估算法的強化學習環境，基本方法為通過批處理命令的方法將當前優化步之前的歷史數據以步驟1建立的數據結構形式，以及待確定最優取值的一部分優化變量輸入到強化學習環境，固定當前待確定最優取值的優化變量之外的其它優化變量的取值，再通過貝葉斯優化算法或其它連續型優化變量取值優化算法確定當前待定優化變量的最優取值，該最優取值是在其它優化變量固定取最近一次優化后的取值，且考慮約束的情況下得到的，約束的考慮方法具體由所采取的連續型優化變量取值優化算法決定，只要保證優化后的取值滿足優化問題的約束條件即可；再通過優化效果量化評估算法輸出優化效果評估結果，優化效果量化評估算法應當根據具體優化問題綜合考慮目標函數所有分量的取值，并給出標量型的量化評估結果。