[發(fā)明專利]基于氣象事件的transformer模型構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202210076331.8
• 申請日: 2022-01-24
• 公開（公告）號: CN114091361B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計）人: 張博鑫;張晶;王晨;孟健;馬政宇;肖夏;李寧寧;張中澤;尹月華;李茂瑩
• 申請（專利權(quán)）人: 中汽數(shù)據(jù)（天津）有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于氣象事件的transformer模型構(gòu)建方法，其特征在于，包括：

確定多個氣象事件，以及每個氣象事件對目標物的需求量的影響權(quán)重；

根據(jù)每個氣象事件對所述需求量的影響權(quán)重和每個歷史時段每個氣象事件出現(xiàn)的次數(shù)，得到每個歷史時段的氣象綜合影響權(quán)重；

根據(jù)每個氣象事件對所述需求量的影響權(quán)重和后續(xù)時段每個氣象事件出現(xiàn)的次數(shù)，得到后續(xù)時段的氣象綜合影響權(quán)重；

將多個歷史時段的氣象綜合影響權(quán)重、多個歷史時段的歷史需求量以及后續(xù)時段的氣象綜合影響權(quán)重作為訓(xùn)練樣本輸入至初始的transformer模型，通過迭代transformer模型的參數(shù)，使所述transformer模型的輸出逼近后續(xù)時段的需求量真實值；

所述將多個歷史時段的氣象綜合影響權(quán)重、多個歷史時段的歷史需求量以及后續(xù)時段的氣象綜合影響權(quán)重作為訓(xùn)練樣本輸入至初始的transformer模型，包括：

將多個歷史時段的氣象綜合影響權(quán)重進行升維處理，將所述多個歷史時段的歷史需求量進行升維處理，將后續(xù)時段的氣象綜合影響權(quán)重進行升維處理；

將升維處理后的多個歷史時段的氣象綜合影響矩陣和歷史需求量矩陣，以及多個歷史時段的氣象綜合影響矩陣中各元素的位置矩陣進行對應(yīng)元素相加；

將相加后的矩陣作為訓(xùn)練樣本輸入至初始的transformer模型的Embedding環(huán)節(jié)；

將升維處理后的后續(xù)時段的氣象綜合影響矩陣作為訓(xùn)練樣本輸入至初始的transformer模型的Decode環(huán)節(jié)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將升維處理后的后續(xù)時段的氣象綜合影響矩陣作為訓(xùn)練樣本輸入至初始的transformer模型的Decode環(huán)節(jié)之前，還包括：保留升維處理后的后續(xù)時段的氣象綜合影響矩陣中對應(yīng)下一時段的數(shù)據(jù)；

將后續(xù)其它時段的數(shù)據(jù)設(shè)置為極小值。

3.據(jù)權(quán)利要求1所述的方法，其特征在于，所述transformer模型包括Embedding環(huán)節(jié)，與所述Embedding環(huán)節(jié)的輸出連接的Decode環(huán)節(jié)，與所述Decode環(huán)節(jié)的輸出連接的線性層。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述Embedding環(huán)節(jié)包括相互連接的多頭注意力層、前饋神經(jīng)網(wǎng)絡(luò)層和相加歸一化層；

所述將相加后的矩陣作為訓(xùn)練樣本輸入至初始的transformer模型的Embedding環(huán)節(jié)，包括：

將相加后的矩陣進行行分解和列分解，并將每行的多個向量輸入至多頭注意力層的每個self-attention單元，得到每個歷史時段的全部信息在不同空間的映射；所述全部信息包括氣象綜合影響權(quán)重、歷史需求量和氣象綜合影響矩陣中各元素的位置；

根據(jù)每個歷史時段的全部信息在不同空間的映射，計算每個歷史時段與其它歷史時段的相關(guān)性；以及，根據(jù)每個歷史時段與其它歷史時段的相關(guān)性，計算每個歷史時段與其它歷史時段的注意力；

采用所述相加歸一化層對多頭注意力層、前饋神經(jīng)網(wǎng)絡(luò)層的輸出進行相加和歸一化處理；

采用所述前饋神經(jīng)網(wǎng)絡(luò)層對相加和歸一化處理后的注意力進行非線性處理。