[發明專利]變電主設備多模態數據大規模預訓練方法、裝置及設備

在審

• 申請號: 202211550636.4
• 申請日: 2022-12-05
• 公開（公告）號: CN115828186A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 甘津瑞;張鵬;姜廣鑫;劉浩;夏衛尚;韓晉思;羅沐;李忠鵬
• 申請（專利權）人: 國網智能電網研究院有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06F18/214;G06N3/084;G06Q50/06
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張杰

1.一種變電主設備多模態數據大規模預訓練方法，其特征在于，包括：

獲取初始多模態數據，并對所述初始多模態數據進行預處理，得到多模態數據，所述多模態數據包括變電主設備的在線監測量數據和聲紋數據；

分別對所述在線監測量數據和聲紋數據進行隱層特征提取，以確定所述在線監測量數據的第一隱層特征以及所述聲紋數據的第二隱層特征；

分別對所述第一隱層特征與所述第二隱層特征進行增強處理，并基于增強后的第一隱層特征和增強后的第二隱層特征進行拼接處理，得到目標特征；

基于所述目標特征進行多模態交互處理，并基于多模態交互處理的結果、所述在線監測量數據以及所述聲紋數據構造損失函數，基于梯度后向傳播優化所述損失函數，以完成預訓練。

2.根據權利要求1所述的方法，其特征在于，所述獲取初始多模態數據，并對所述初始多模態數據進行預處理，得到多模態數據，包括：

獲取初始多模態數據；

對所述初始多模態數據中的無效數據進行剔除處理，并進行數據補全、數據重構、歸一化處理以及對齊，得到多模態數據。

3.根據權利要求2所述的方法，其特征在于，所述對所述初始多模態數據中的無效數據進行剔除處理，并進行數據補全、數據重構、歸一化處理以及對齊，得到多模態數據，包括：

剔除所述在線監測量數據中的無效數據，并對剔除了所述無效數據后的在線監測量數據進行補全處理，得到補全后的在線監測量數據；

基于編碼-解碼結構對所述補全后的在線監測量數據進行重構，并對所述在線監測量數據進行歸一化處理；

基于預設時間范圍將所述在線監測量數據與所述聲紋數據進行對齊，以得到多模態數據，所述預設時間范圍內的在線監測量數據與所述聲紋數據對應。

4.根據權利要求1所述的方法，其特征在于，所述分別對所述在線監測量數據和聲紋數據進行隱層特征提取，以確定所述在線監測量數據的第一隱層特征以及所述聲紋數據的第二隱層特征，包括：

基于多層感知機對所述在線監測量數據進行隱層特征提取，確定所述在線監測量數據的第一隱層特征；

分別基于多層感知機以及雙流網絡架構方法對所述聲紋數據進行隱層特征提取，并對基于多層感知機以及雙流網絡架構方法得到的兩種隱層特征進行拼接，確定所述聲紋數據的第二隱層特征。

5.根據權利要求4所述的方法，其特征在于，所述分別基于多層感知機以及雙流網絡架構方法對所述聲紋數據進行隱層特征提取，并對基于多層感知機以及雙流網絡架構方法得到的兩種隱層特征進行拼接，確定所述聲紋數據的第二隱層特征，包括：

基于傅里葉變換生成所述聲紋數據的頻譜圖，并基于卷積神經網絡進行隱層特征提取，得到頻域特征；

基于多層感知機對所述聲紋數據進行隱層特征提取，得到時域特征；

對所述頻域特征和所述時域特征進行拼接，得到所述第二隱層特征。

6.根據權利要求1所述的方法，其特征在于，所述分別對所述第一隱層特征與所述第二隱層特征進行數據增強處理，包括：

分別對所述在線監測量數據和所述聲紋數據進行位置編碼，并將得到的位置編碼累加到所述第一隱層特征和第二隱層特征上；

分別基于堆疊的編碼結構對所述在線監測量數據和所述聲紋數據進行高層語義特征抽取，得到增強后的第一隱層特征和第二隱層特征。

7.根據權利要求1所述的方法，其特征在于，所述基于所述目標特征進行多模態交互處理，并基于多模態交互處理的結果、所述在線監測量數據以及所述聲紋數據構造損失函數，包括：

對所述目標特征進行多模態交互處理，以使所述在線監測量數據與所述聲紋數據進行跨模態交互，得到多模態交互處理的結果；

基于所述多模態交互處理的結果，分別對所述在線監測量數據和所述聲紋數據進行掩碼回歸處理，分別得到所述在線監測量數據的預測掩碼以及所述聲紋數據的預測掩碼；

判斷所述在線監測量數據和所述聲紋數據是否匹配，得到匹配結果；

根據所述匹配結果、所述在線監測量數據的預測掩碼以及所述聲紋數據的預測掩碼構造損失函數。