[發明專利]基于Transformer模型的光伏功率預測方法

有效

• 申請號: 202110161723.X
• 申請日: 2021-02-05
• 公開（公告）號: CN112991090B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 沈艷霞;沈俊豪;趙芝璞
• 申請（專利權）人: 江南大學
• 主分類號: G06Q50/06
• 分類號: G06Q50/06;G06Q10/04;G06F30/27;G06N3/0464;G06N3/0455
• 代理公司: 無錫華源專利商標事務所(普通合伙) 32228
• 代理人: 崔婕

1.一種基于Transformer模型的光伏功率預測方法，其特征在于，所述方法包括：

基于Transformer模型構建光伏功率預測模型，所述光伏功率預測模型包括卷積層、位置編碼層、編碼器組、解碼器組和激活輸出層，所述位置編碼層對輸入到所述位置編碼層的數據進行位置編碼，所述卷積層統一輸入到所述卷積層的數據的維度；

獲取歷史數據輸入所述光伏功率預測模型的卷積層和位置編碼層、通過所述卷積層和所述位置編碼層的輸出相加后得到第一歷史初始數據并輸送至所述編碼器組中，所述編碼器組計算所述第一歷史初始數據得到第二歷史初始數據輸送至所述解碼器組中，所述歷史數據為待預測日之前的預定天數內的每一天的歷史環境數據和對應的歷史功率數據；

獲取當前環境數據輸入所述光伏功率預測模型的卷積層和位置編碼層、通過所述卷積層和所述位置編碼層的輸出相加后得到第一當前初始數據并輸送至所述解碼器組中，所述解碼器組根據第一當前初始數據和所述第二歷史初始數據得到初始目標數據輸送至所述激活輸出層，所述當前環境數據為待預測日的環境數據；

將所述激活輸出層的輸出作為待預測日的當前功率數據。

2.根據權利要求1所述的一種方法，其特征在于，所述編碼器組包括多個依次串聯連接的編碼器，所述編碼器組中的第一編碼器獲取第一歷史初始數據、最后一個編碼器輸出第二歷史初始數據；

每個所述編碼器包括從輸入到輸出依次連接的第一層歸一化層、第一多頭注意力層、第二層歸一化層和第一前饋神經網絡層，第一層歸一化層的輸入數據還輸入到所述第二層歸一化層，所述第二層歸一化層的輸入數據還與所述第一前饋神經網絡層的輸出數據一起作為所述編碼器的輸出。

3.根據權利要求1所述的一種方法，其特征在于，所述解碼器組包括多個依次串聯連接的解碼器，所述解碼器組中的第一解碼器獲取第一當前初始數據、最后一個解碼器輸出初始目標數據，每個所述解碼器包括三個層歸一化層、兩個多頭注意力層和第二前饋神經網絡層；

每個所述解碼器包括從輸入到輸出依次連接的第三層歸一化層、第二多頭注意力層、第四層歸一化層、第三多頭注意力層、第五層歸一化層和第二前饋神經網絡層，所述第三層歸一化層的輸入數據還輸入到所述第四層歸一化層，所述第三多頭注意力層獲取所述第四層歸一化層的輸出數據和所述編碼器組的輸出數據，所述第四層歸一化層的輸入數據還輸入到所述第五層歸一化層，所述第五層歸一化層的輸入數據還與第二前饋神經網絡層的輸出數據一起作為所述解碼器的輸出。

4.根據權利要求1所述的一種方法，其特征在于，輸入到所述位置編碼層的歷史環境數據和當前環境數據所包含的環境數據種類相同，所述對輸入到所述位置編碼層的數據進行位置編碼，包括：

通過位置編碼函數PE()對輸入到位置編碼層的第n個環境數據種類的數據進行位置編碼，位置編碼函數PE()的表達式為：

PE(pos,2n)＝sin(pos/10000^2n/d)；

PE(pos,2n+1)＝cos(pos/10000^2n/d)；

其中，pos為歷史數據和當前環境數據采集的日期，d表示卷積層的卷積核數量。

5.根據權利要求2或3所述的一種方法，其特征在于，所述方法還包括：

每個層歸一化層對每個層歸一化層的輸入數據進行歸一化處理得到均值為0和方差1的數據分布；

在多頭注意力層中將輸入到多頭注意力層的數據進行轉換得到查詢矩陣Q、鍵矩陣K和值矩陣V；

對查詢矩陣Q、鍵矩陣K和值矩陣V進行矩陣計算處理。

6.根據權利要求5所述的一種方法，其特征在于，所述對查詢矩陣Q、鍵矩陣K和值矩陣V進行矩陣計算處理，包括：

將查詢矩陣Q、鍵矩陣K和值矩陣V的最后一個維度分為h份矩陣，利用注意力機制函數對查詢矩陣Q、鍵矩陣K和值矩陣V的每一份進行點乘注意力處理得到一個注意力頭；

對h個注意力頭進行加權拼接處理。