[發明專利]基于強化學習的故障鏈路搜索方法、裝置、設備及介質

有效

• 申請號: 202110572445.7
• 申請日: 2021-05-25
• 公開（公告）號: CN113220946B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 李子佳;龐一文
• 申請（專利權）人: 平安付科技服務有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F18/214;G06N3/0464;G06N3/092;H04L43/0823
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

1.一種基于強化學習的故障鏈路搜索方法，其特征在于，包括：

當監控系統向用戶端發出告警信息時，則獲取所述告警信息對應的異常節點信息，其中，所述異常節點信息包括：節點的類型、節點異常類型、異常發生的時間，以及異常節點信息對應的節點調用關系；

獲取所述異常節點信息對應的鄰域節點信息，并分別對所述異常節點信息以及所述鄰域節點信息進行狀態編碼，得到異常節點狀態編碼和鄰域節點狀態編碼；

通過訓練好的決策模型對所述異常節點狀態編碼和所述鄰域節點狀態編碼進行節點轉移方向處理，得到所述異常節點信息對應的異常節點所要轉移的方向；

根據所述轉移的方向，獲取所述異常節點對應的轉移節點信息，并將所述轉移節點信息發送給所述用戶端，以及將每次獲取到的所述轉移節點信息作為關注節點信息；

根據所述關注節點信息對應關注節點的轉移方向，獲取所述關注節點對應的轉移節點信息，直至所述關注節點為終止節點或獲取次數超過預設次數，則停止獲取所述轉移節點信息，得到不同的所述關注節點信息；

將不同的所述關注節點信息對應的節點與所述異常節點按照調用關系進行連接，得到異常節點鏈路，并將所述異常節點鏈路返回給所述用戶端；

其中，所述獲取所述異常節點信息對應的鄰域節點信息，并分別對所述異常節點信息以及所述鄰域節點信息進行狀態編碼，得到異常節點狀態編碼和鄰域節點狀態編碼，包括：

根據預設節點個數以及所述異常節點對應的節點調用關系，獲取所述鄰域節點信息；

根據所述節點的類型和所述異常節點類型，分別對所述異常節點信息以及所述鄰域節點信息進行編碼，得到異常節點編碼和鄰域節點編碼；

分別獲取所述異常節點編碼以及鄰域節點編碼各自節點的鏈路信息，得到異常節點信號編碼和鄰域節點信號編碼；

分別將所述異常節點信號編碼以及所述鄰域節點信號編碼各自的鏈路信息進行合并，得到所述異常節點狀態編碼和所述鄰域節點狀態編碼。

2.根據權利要求1所述的基于強化學習的故障鏈路搜索方法，其特征在于，所述通過訓練好的決策模型對所述異常節點狀態編碼和所述鄰域節點狀態編碼進行節點轉移方向處理，得到所述異常節點信息對應的異常節點所要轉移的方向，包括：

從所述鄰域節點信息中，提取所述異常節點存在一步調用或被調用關系的鄰域節點，得到多個待轉移節點；

獲取多個所述待轉移節點對應的狀態編碼，并統計出每個所述待轉移節點對應的狀態編碼中存在的異常節點類型數量；

通過所述訓練好的決策模型根據所述存在的異常節點類型數量確定所述異常節點轉移方向，得到所述異常節點所要轉移的方向。

3.根據權利要求1所述的基于強化學習的故障鏈路搜索方法，其特征在于，在所述通過訓練好的決策模型對所述異常節點狀態編碼和所述鄰域節點狀態編碼進行節點轉移方向處理，得到所述異常節點信息對應的異常節點所要轉移的方向之前，所述方法還包括：

通過卷積神經網絡的輸入層獲取狀態信號，并將所述狀態信號輸入到所述卷積神經網絡的卷積層中，提取所述狀態信號的節點特征；

以所述節點特征為起點，獲取所述節點特征的鏈路信息；

對所述鏈路信息進行降維處理，并通過所述卷積神經網絡的扁平化層將降維處理后的鏈路信息轉化為一維向量；

通過所述卷積神經網絡的全連接層對所述一維向量進行計算處理，得到不同方向所對應的動作價值，并將所述動作價值作為所述卷積神經網絡的單次輸出結果。

4.根據權利要求3所述的基于強化學習的故障鏈路搜索方法，其特征在于，在所述通過所述卷積神經網絡的全連接層對所述一維向量進行計算處理，得到不同方向所對應的動作價值，并將所述動作價值作為所述卷積神經網絡的單次輸出結果之后，所述方法還包括：

判斷所述單次輸出結果是否達到預設閾值，得到第一判斷結果；

若所述第一判斷結果為所述單次輸出結果未達到所述預設閾值，則重新獲取所述狀態信號；

通過所述狀態信號對所述卷積神經網絡進行模型訓練處理，得到新的輸出結果，直至所述新的輸出結果達到所述預設閾值，則停止所述模型訓練處理，得到所述訓練好的決策模型。