[發明專利]基于深度學習的城市能源多源數據融合方法及存儲介質

在審

• 申請號: 202211289031.4
• 申請日: 2022-10-20
• 公開（公告）號: CN115688047A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 朱正誼;許洪華;張瑋亞;梁龍;馬琎劼;周恒俊;王文帝;錢欣;楊林青
• 申請（專利權）人: 國網江蘇省電力有限公司南京供電分公司;國網江蘇省電力有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06N3/0464;G06N3/049;G06Q10/04;G06Q50/06
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

1.基于深度學習的城市能源多源數據融合方法，其特征是包括以下步驟：

S1，將所獲取到的城市能源多源數據轉換為多模態輸入序列，城市能源數據的三種異構數據類型包括：文本圖像與音頻

S2，將S1中多模態輸入序列的數據分別進行一次一維時間卷積，獲取時間信息，得到帶有時間信息的城市能源數據特征；

S3，為S2輸出添加位置編碼PE，使其在后續計算中能夠保留時間信息；

S4，利用跨模態Transformer對S3的輸出進行多尺度多模態的信息融合，實現三種異構數據類型的相互跨模態融合，分別表示為

S5，將兩兩送入三個使用self-attention的transformer網絡，進行自注意力運算，得出城市能源多源數據融合特征，所得融合特征輸入基于深度學習的預測模型中，用于對未來能源的使用量以及所需的能源制造量進行預測。

2.根據權利要求1所述的一種基于深度學習的城市能源多源全域數據融合方法，其特征是步驟S1中，城市能源多源全域數據來源包括水、煤炭、電力、熱力與石油產業，其中文本數據來源于能源大數據挖掘到的各個能源行業的生產數據、管理數據以及營銷數據，以及各種能源的消耗數據；圖像數據來源于能源大數據挖掘到的煤炭石油電力行業的GIS信息、氣象圖，以及石油電力能源消耗的交通流圖像信息；音頻數據來源于各個能源行業利用互聯網大數據挖掘所獲得的能源使用相關音頻報道信息、對各個行業使用能源的相關采訪音頻信息以及各個能源行業從業者對該能源行業未來使用量的采訪音頻數據。

3.根據權利要求1所述的一種基于深度學習的城市能源多源全域數據融合方法，其特征是步驟S3中，時間卷積方式如下：

其中，X_α表示多模態輸入序列的數據，k_α表示對應模態α下的卷積核的大小，Conv1D表示一維時間卷積，d表示的是特征的維度。

4.根據權利要求1所述的一種基于深度學習的城市能源多源全域數據融合方法，其特征是步驟S4中，構建多尺度協作多模態transformer架構MCMulT實現多模態多尺度信息融合，MCMulT網絡分成若干相連的跨模態Transformer區塊MCTB，這些區塊中包含了兩種類型的跨模態單元：多尺度注意力跨模態MACT塊和跨模態CT塊，一個維度的MACT與另一個維度的兩個相鄰CT塊形成跨模態的Transformer區塊；對于目標模態和源模態，MCMulT的全局相互作用由多個MACT塊執行，目標模態的MCTB的輸入來自源模態的多個MCTB的輸出，為了保持加窗的交互，目標模態的MCTB與其源模態的同尺度MCTB之間建立局部交互，MCMulT的局部相互作用由CT塊進行，CT塊的輸入包含目標模態的前一層輸出和來自其源模態的同級別MCTB的第一層輸出，局部交互僅使用來自源模態的單尺度表示；其中，MACT塊由3個子網絡層組成：多尺度多頭跨模態層，多尺度注意力層和位置前饋層，CT僅參與源模態的單尺度表達。

5.根據權利要求4所述的一種基于深度學習的城市能源多源全域數據融合方法，其特征是對于待融合的目標模態α和源模態β，令與分別表示來自兩個模態序列的特征，通過多尺度多頭跨模態層multi-head聚合目標模態α和源模態β之間的定向成對跨模態相互作用：

其中和為權重參數，當模態α從模態β構建其第i層跨模態交互時，H^[i]表示模態α和β之間的多尺度跨模態相互作用集合，如下所示：

其中是模態β的低級特征，最終經過前饋層融合輸出

6.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征是所述計算機程序被處理器執行時實現權利要求1至5中任一項所述的方法的步驟。