[發明專利]基于Linear Transformer的非侵入式負荷分解方法

在審

• 申請號: 202210135422.4
• 申請日: 2022-02-14
• 公開（公告）號: CN114528930A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 林梓鎧;潘嶸
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

本發明針對現有技術的局限性，提出了一種基于Linear Transformer的非侵入式負荷分解方法。首次提出并使用了Linear Transformer模型進行非侵入負荷分解，在總體精度不變的情況下大大減少了訓練時間；該模型改進了傳統Transformer模型中注意力的計算方法，使得模型可應用與較長的時間序列，更好地學習到負荷的用電信息。

技術領域

本發明涉及計算機科學技術領域，具體涉及深度學習在非侵入式負荷識別技 術方面的應用，更具體，涉及一種基于Linear Transformer的非侵入式負荷分解 方法。

背景技術

非侵入式負荷識別(non-intrusive load monitoring，NILM)也稱能量分解， 是一個盲源分離問題，即把一個家庭的總用電量被分解為各個用電器的用電情況， 通過這種方式可以避免在眾多用電器上安裝許多測量設備的成本和麻煩。

早期最常用的NILM方法主要基于隱馬爾可夫模型，由于對于同一類用電器， 其狀態種類、各狀態持續時長、各狀態的功率波形都不同，這使得基于特征工程 和聚類的模型的泛化能力不強，同時回歸模型的分解功率難以迅速跟蹤真實功率； 為了解決上述問題，最近的方法都是基于深度學習的：由Jack Kelly開創性地將 CNN，RNN以及降噪自編碼器引入到NILM中來，Zhang提出了一種基于卷積 網絡的序列到點的模型，將時間序列窗口的中點作為輸出，避免了以前序列到序 列模型對窗口中同一個點多次平均以致序列變得平滑的缺點。

但以公開日為2022.01.07的中國發明申請：基于Attention機制和殘差連接 的非侵入式負荷分解為例，其將回歸問題轉化為在序列每個時刻的多分類問題， 提出結合雙向門控循環單元、Attention和殘差網絡的NILM模型，其中BiGRU 從前后兩個方向輸入功率序列，以期學習到當前時刻前后的特征；可見，傳統 seq2seq模型是采用循環神經網絡實現的。但是，因為負荷分解用的是低頻數據， 因此時間序列比較長；而在這種情況下，很容易會出現梯度消失的問題。而且， 雖然循環神經網絡最后的輸出包含了序列的全部信息，但是隨著序列的長度增加， 輸出的隱向量會逐漸失去處于較前位置的信息。因此，現有技術仍有一定的局限 性。

發明內容

針對現有技術的局限，本發明提出一種基于Linear Transformer的非侵入式 負荷分解方法，本發明采用的技術方案是：

一種基于Linear Transformer的非侵入式負荷分解方法，包括以下步驟：

S1，獲取待處理的總表數據以及用電器數據；

S2，將所述總表數據以及用電器數據輸入到經過訓練的Linear Transformer 模型中，獲得各用電器的功率曲線；

其中，所述Linear Transformer模型包括編碼器以及解碼器；所述編碼器依 序包括分別通過殘差連接與層歸一化輸出的多頭注意力模塊以及前饋網絡；所述 解碼器依序包括分別通過殘差連接與層歸一化輸出的遮擋多頭注意力模塊、多頭 注意力模塊以及前饋網絡。

相較于現有技術，本發明首次提出并使用了Linear Transformer模型進行非 侵入負荷分解，在總體精度不變的情況下大大減少了訓練時間；該模型改進了傳 統Transformer模型中注意力的計算方法，使得模型可應用與較長的時間序列， 更好地學習到負荷的用電信息。

作為一種優選方案，所述Linear Transformer模型中的自注意力機制按以下 公式表示：

其中，Q表示查詢矩陣，K表示鍵矩陣，V表示值矩陣，d表示Q和V的維 度，i表示當前位置下標，N表示輸入序列的長度，j表示當前遍歷到的序列下標， T表示矩陣轉置；φ(x)＝elu(x)+1，其中elu(x)可表示為：