[發明專利]基于強化學習的旋轉機械診斷網絡自動搜索方法

有效

• 申請號: 202110234810.3
• 申請日: 2021-03-03
• 公開（公告）號: CN113031441B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 王藝瑋;周健;鄭聯語
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 李冉

本發明公開了一種基于強化學習的旋轉機械故障診斷網絡自動搜索方法，基于給定的診斷任務控制器根據子模型當前狀態對子模型進行設計，接著利用診斷數據訓練驗證子模型，其驗證精度又參與到對控制器的訓練。方法執行過程中，子模型和控制器交替訓練，最終控制器能針對具體診斷任務搜索出高診斷性能的子模型。在子模型訓練過程中，方法設置了權值共享，有著相同權值數量的網絡層在不同子模型中可重用，降低訓練時間提高了搜索效率；在控制器訓練過程中，應用了貪心策略，給予空間讓控制器自由探索降低陷入局部最優的概率，應用了經驗重放，讓控制器交替工作訓練避免學習過程中參數的振蕩和發散，還應用了迭代更新，使用副控制器來預測下一狀態的獎勵，降低了回報期望與未來收益的相關性，提高控制器的訓練穩定性。以上特點使得本發明方法在針對不同的診斷任務時能夠高效地搜索出具有高診斷性能的網絡模型，有效解決旋轉機械狀態診斷問題。

技術領域

本發明屬于旋轉機械故障診斷網絡結構自動搜索方法技術領域，具體涉及基于強化學習的旋轉機械診斷網絡自動搜索方法。

背景技術

旋轉機械組件如軸承、齒輪、滾珠絲杠等作為傳動部件的核心組成部分應用非常廣泛，重要性也日益突出。近年來，關于旋轉機械健康管理的研究也越來越成熟，特別是旋轉機械的故障診斷方法，從開始的經典方法，發展到現在以數據驅動方法為主，就是因為數據驅動的方法特別是深度學習的方法能自動提取數據特征，應用快速便捷，對專業知識要求較低。不過在面對不同的旋轉部件對象時需要重新訓練，甚至需要重新設計創建神經網絡。根據具體問題設計特定的神經網絡模型能取得非常高的診斷精度，缺點是網絡結構復雜，涉及到很多信號處理及深度學習建模相關的知識，需要高昂的時間和人力成本。

為了解決這個問題，研究者們開始研究神經結構的自動搜索，面對具體的診斷任務可自動設計出高性能的網絡模型，擺脫對建模知識的依賴。神經結構搜索的邏輯過程是首先定義搜索空間，然后通過搜索策略找出候選網絡結構，對這些候選網絡進行評估，再根據反饋進行下一輪搜索，在這個過程中，搜索策略是核心，因此在NAS的發展過程中除了基礎的隨機搜索策略外，還有基于強化學習的搜索，基于進化算法的搜索和基于梯度的搜索策略。因為強化學習本身的良好發展，基于強化學習的搜索研究相對活躍。麻省理工學者提出MetaQNN，它將網絡架構搜索建模成馬爾可夫決策過程，使用Q-learning算法逐層決策選取網絡層類型和相應參數來產生CNN架構；谷歌學者采用RNN網絡作為控制器來采樣生成描述網絡結構的字符串，然后創建、訓練并驗證子網絡模型，并將驗證精度作為標簽再訓練優化控制器的參數，使之能產生更高準確率的網絡結構。神經結構搜索的研究不多，旋轉機械的診斷網絡自動搜索則更少，西工大作者基于強化學習創建了卷積神經網絡結構搜索方法，能根據當前狀態設計選擇網絡層創建子模型，經過驗證搜索出的子模型能達到不錯的精度。

這些方法需要巨大的搜索空間，因此需要很高的計算成本。谷歌的研究者們又提出了基于塊的網絡生成方法，通過搜索定制化的塊，再按照預定義重復堆疊成子模型而不是直接搜索整個網絡結構。這樣雖然可以一定程度上提升搜索效率，但是降低了子模型的自由度，影響了模型的性能。

發明內容

針對現有技術方法存在的不足，本發明的目的在于提供一種基于強化學習的旋轉機械診斷網絡自動搜索方法，該方法解決了針對不同診斷任務重新設計高精度診斷模型依賴建模專業知識、神經結構自動搜索方法消耗大量計算資源的問題。

為實現上述目的，本發明一種基于強化學習的旋轉機械診斷網絡自動搜索方法，具體包括以下步驟：

S1、定義包含六種網絡層的操作空間，設計最大十二層的狀態空間；

S2、創建控制器，根據子模型當前拓撲狀態做出決策，逐層從操作空間選擇網絡層搭建子模型，利用給定數據訓練驗證子模型并保存精度；

S3、根據子模型驗證精度得到當前獎勵值，將獎勵值轉化為回報，保存子模型拓撲結構和回報值，強化訓練控制器優化其參數；