[發明專利]生成式對抗網絡的訓練方法及裝置、電力負荷預測方法

在審

• 申請號: 202011101837.7
• 申請日: 2020-10-14
• 公開（公告）號: CN112163715A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 趙沛霖
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06;G06N3/08
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 朱黎

1.一種生成式對抗網絡的訓練方法，其特征在于，所述生成式對抗網絡包括生成網絡和判別網絡，所述方法包括：

獲取訓練樣本，所述訓練樣本包括第一樣本負荷向量、第二樣本負荷向量、第一樣本時間向量和第二樣本時間向量，所述第一樣本負荷向量用于指示第一時間段內的電力負荷值，所述第一樣本時間向量用于指示所述第一樣本負荷向量中各電力負荷值所對應的時間，所述第二樣本負荷向量用于指示第二時間段內的電力負荷值，所述第二樣本時間向量用于指示所述第二樣本負荷向量中各電力負荷值所對應的時間，所述第二時間段是所述第一時間段之后的一段時間；

通過所述生成網絡根據所述樣本中的第一樣本負荷向量、所述第一樣本時間向量和所述第二樣本時間向量進行電力負荷預測，得到第一預測向量，所述第一預測向量用于指示所述第二樣本時間向量中各時間所對應的預測電力負荷值；

通過所述判別網絡對測試樣本向量進行真假判別，輸出測試樣本向量對應為真實電力負荷的概率，所述測試樣本向量包括所述第一預測向量和第二樣本負荷向量；

根據所述判別網絡輸出的概率反向交替調整所述生成網絡和所述判別網絡的參數。

2.根據權利要求1所述的方法，其特征在于，所述根據所述判別網絡輸出的概率反向交替調整所述生成網絡和所述判別網絡的參數，包括：

若判別網絡所輸出的概率不在設定的概率范圍內，則基于設定的損失函數，根據所述生成網絡針對樣本所預測的第一預測向量和所對應樣本中的第二樣本負荷向量計算損失函數值；

在固定所述判別網絡的參數后，根據所述損失函數值反向調整所述判別網絡的參數；

在所述生成網絡的迭代次數達到設定次數后，固定所述判別網絡的參數并反向調整所述生成網絡的參數；

重復上述步驟，直至所述判別網絡輸出的概率在設定的概率范圍內。

3.根據權利要求1所述的方法，其特征在于，所述生成網絡為轉換器網絡，所述轉換器網絡包括位置編碼層、編碼器網絡和解碼器網絡；

所述通過所述生成網絡根據所述樣本中的第一樣本負荷向量、所述第一樣本時間向量和所述第二樣本時間向量進行電力負荷預測，得到第一預測向量，包括：

通過所述位置編碼層對所述第一樣本負荷向量和所述第一樣本時間向量進行融合，得到融合向量；

由所述編碼器網絡根據所述融合向量進行特征編碼，輸出第一特征向量；

由所述解碼器網絡根據所述第一特征向量和所述第二樣本時間向量進行解碼，輸出所述第一預測向量。

4.根據權利要求3所述的方法，其特征在于，所述編碼器網絡包括至少兩個級聯的編碼器層，所述編碼器層包括自注意力層、全連接前饋網絡層和處理層；所述融合向量是所述編碼器網絡中第一級編碼器層的輸入向量；

所述編碼器層通過如下的過程對所對應的輸入向量進行處理：

通過所述自注意力層計算所對應輸入向量的自注意力向量；

由所述全連接前饋網絡層根據所述自注意力向量進行變換，得到全連接向量；

通過所述處理層對所述全連接向量進行殘差連接和正則化處理，得到第一輸出向量，其中，所述編碼器網絡中最后一級編碼器層所輸出的第一輸出向量作為所述第一特征向量。

5.根據權利要求4所述的方法，其特征在于，所述自注意力層包括N個相并行的注意力頭，其中，N為大于1的整數；

所述通過所述自注意力層計算所對應輸入向量的自注意力向量，包括：

計算所述輸入向量對應于每一個注意力頭的查詢向量、鍵向量和值向量；

根據每一個注意力頭對應的查詢向量、鍵向量和值向量計算所對應的注意力分數；

將N個注意力頭所對應的注意力分數進行拼接，得到拼接向量；

對所述拼接向量進行線性變換，得到所述自注意力向量。