[發明專利]一種改進深度Q網絡的滾動軸承故障診斷方法

有效

• 申請號: 202110360639.0
• 申請日: 2021-04-02
• 公開（公告）號: CN112924177B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 康守強;劉哲;王玉靜;王慶巖;梁欣濤;謝金寶;蘭朝鳳
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G01M13/045
• 分類號: G01M13/045;G06V10/44;G06V10/762;G06V10/77;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 黑龍江立超同創知識產權代理有限責任公司 23217
• 代理人: 楊立超

1.一種改進深度Q網絡的滾動軸承故障診斷方法，其特征在于，包括下述步驟：

步驟一、獲取滾動軸承振動訓練數據和測試數據；所述訓練數據包括滾動軸承不同狀態的樣本；

步驟二、對所述訓練數據和所述測試數據進行預處理；

步驟三、利用K均值聚類對深度Q網絡中的獎勵函數進行量化，使得所述訓練數據中每個樣本都有其各自的獎勵值，從而獲得新的回報函數；具體過程包括：

步驟三一、將K均值聚類的中心點作為不同類別回報值的基本點，所述中心點的回報值計算公式為：

其中，t表示時刻；s_t表示t時刻狀態；a_t表示t時刻動作；y_t表示t時刻樣本標簽；1/ρ∈[0,1]，ρ＝D_N/(D_F/9)表示不平衡比例，D_N是多數類正常樣本，D_F是少數類故障樣本；

步驟三二、類別之內利用每個樣本與所屬簇中心點之間的歐氏距離來對回報函數進行量化，具體步驟包括：

步驟三二一、將所述訓練數據聚類成10個簇C＝C₁,C₂,…,C₁₀，隨機選取k個簇中心，即{μ₁,μ₂,…,μ_k}；

步驟三二二、更新所述訓練數據中樣本所對應的簇，其最小化損失函數為：

其中，x表示初始樣本；μ_i表示簇C_i的中心點；k表示簇的類別數；

步驟三二三、更新各個簇中心μ₁,μ₂,…,μ_k：

步驟三二四、遍歷所有的簇分類找到最小化損失函數的最優解，直到簇標簽達到收斂精度為止，否則循環迭代步驟三二二至步驟三二四；

步驟三二五、最終確定k個簇中心點，即k個分類所對應的獎勵函數值中心點，將每個樣本與中心點的距離進行歸一化處理；

步驟三二六、通過比較不同類別所對應的獎勵函數值與同類別中每個樣本與中心的距離，對獎勵函數值進行量化；其中，量化公式為：

其中，Dis(s_t)表示歸一化處理后每個樣本與中心點的距離；

步驟四、將所述訓練數據和所述回報函數作為深度Q網絡模型輸入，進行深度強化學習訓練，獲得改進的深度Q網絡模型；

步驟五、將所述測試數據輸入改進的深度Q網絡模型中，獲得滾動軸承故障診斷結果。

2.根據權利要求1所述的一種改進深度Q網絡的滾動軸承故障診斷方法，其特征在于，步驟一中所述訓練數據在4種負載條件下采集，負載類型包括0hp、1hp、2hp和3hp；所述不同狀態包括正常狀態、外環故障狀態、內環故障狀態及滾動體故障狀態。

3.根據權利要求2所述的一種改進深度Q網絡的滾動軸承故障診斷方法，其特征在于，步驟二中所述預處理包括數據增強，并對所述訓練數據進行短時傅里葉變換，獲得二維時頻域圖像。

4.根據權利要求3所述的一種改進深度Q網絡的滾動軸承故障診斷方法，其特征在于，步驟三中在通過K均值聚類過程中，將聚類錯誤的樣本剔除，并重新獲取新樣本，直到聚類正確為止。

5.根據權利要求1所述的一種改進深度Q網絡的滾動軸承故障診斷方法，其特征在于，步驟三二一中在聚類之前首先采用主成分分析法(PCA)對訓練數據進行降維。

6.根據權利要求1所述的一種改進深度Q網絡的滾動軸承故障診斷方法，其特征在于，步驟四中通過改進的Resnet-18網絡提取深層特征，對所述Resnet-18網絡的改進在于：不通過全連接層輸出全部Q值，而是輸出對應狀態和動作的Q值，以加快網絡訓練速度。