[發明專利]基于Linear Transformer的非侵入式負荷分解方法

在審

• 申請號: 202210135422.4
• 申請日: 2022-02-14
• 公開（公告）號: CN114528930A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 林梓鎧;潘嶸
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

1.一種基于Linear Transformer的非侵入式負荷分解方法，其特征在于，包括以下步驟：

S1，獲取待處理的總表數據以及用電器數據；

S2，將所述總表數據以及用電器數據輸入到經過訓練的Linear Transformer模型中，獲得各用電器的功率曲線；

其中，所述Linear Transformer模型包括編碼器以及解碼器；所述編碼器依序包括分別通過殘差連接與層歸一化輸出的多頭注意力模塊以及前饋網絡；所述解碼器依序包括分別通過殘差連接與層歸一化輸出的遮擋多頭注意力模塊、多頭注意力模塊以及前饋網絡。

2.根據權利要求1所述的基于Linear Transformer的非侵入式負荷分解方法，其特征在于，所述Linear Transformer模型中的自注意力機制按以下公式表示：

其中，Q表示查詢矩陣，K表示鍵矩陣，V表示值矩陣，d表示Q和V的維度，i表示當前位置下標，N表示輸入序列的長度，j表示當前遍歷到的序列下標，T表示矩陣轉置；φ(x)＝elu(x)+1，其中elu(x)可表示為：

3.根據權利要求2所述的基于Linear Transformer的非侵入式負荷分解方法，其特征在于，所述解碼器中的多頭注意力模塊所輸入的查詢矩陣Q來自所述遮擋多頭注意力模塊的輸出，所述解碼器中的多頭注意力模塊所輸入的鍵矩陣K以及值矩陣V。

4.根據權利要求1所述的基于Linear Transformer的非侵入式負荷分解方法，其特征在于，所述前饋網絡為點式前饋網絡。

5.根據權利要求1所述的基于Linear Transformer的非侵入式負荷分解方法，其特征在于，所述Linear Transformer模型在訓練時使用的訓練數據需要經過特征提取以及位置嵌入的預處理。

6.根據權利要求5所述的基于Linear Transformer的非侵入式負荷分解方法，其特征在于，所述預處理的過程如下：

通過卷積操作，對處理對象進行特征提取；對特征提取的結果進行基于三角函數的位置嵌入，得到長度L×維度d的特征矩陣。

7.根據權利要求5或6所述的基于Linear Transformer的非侵入式負荷分解方法，其特征在于，所述位置嵌入按以下公式表示：

F(pos,2i+1)＝cos(pos/10000^2i/d)；

其中，i表示當前位置下標，pos為數據在原時間序列的位置，d為查詢矩陣Q和值矩陣V的維度。

8.一種基于Linear Transformer的非侵入式負荷分解系統，其特征在于，包括數據獲取單元(1)以及連接所述數據獲取單元(1)的功率曲線獲取單元模塊(2)：

所述數據獲取單元(1)用于獲取待處理的總表數據以及用電器數據；

所述功率曲線獲取單元(2)用于將所述總表數據以及用電器數據輸入到經過訓練的Linear Transformer模型中，獲得各用電器的功率曲線；

其中，所述Linear Transformer模型包括編碼器以及解碼器；所述編碼器依序包括分別通過殘差連接與層歸一化輸出的多頭注意力模塊以及前饋網絡；所述解碼器依序包括分別通過殘差連接與層歸一化輸出的遮擋多頭注意力模塊、多頭注意力模塊以及前饋網絡。

9.一種存儲介質，其上儲存有計算機程序，其特征在于：所述計算機程序被處理器執行時實現如權利要求1至7所述的基于Linear Transformer的非侵入式負荷分解方法的步驟。

10.一種計算機設備，其特征在于：包括存儲介質、處理器以及儲存在所述存儲介質中并可被所述處理器執行的計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7所述的基于Linear Transformer的非侵入式負荷分解方法的步驟。