[發明專利]基于注意力機制的雙向GRU臺風軌跡智能預測預報系統、計算機設備、存儲介質

在審

• 申請號: 202011302642.9
• 申請日: 2020-11-19
• 公開（公告）號: CN112558185A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 宋弢;李穎;徐丹亞;孟凡;王子赫;謝鵬飛
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G01W1/10
• 分類號: G01W1/10;G06N3/04;G06N3/08;G06Q10/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于注意力機制的雙向GRU臺風軌跡預測預報系統，其特征在于，包括帶有注意力機制的雙向GRU模型，所述模型建立包括以下流程：構建臺風軌跡歷史數據集、對數據進行預處理、搭建臺風軌跡預測模型以及進行模型訓練。首先，構建包含臺風軌跡經緯度的用于模型訓練和測試的數據集，包括聯合臺風警報中心(JTWC)提供的歷史最佳軌跡數據集；然后對數據進行預處理，包括缺失值填補、數值歸一化；然后對搭建網絡，包括輸入層、雙向RGU層、注意力機制模塊和全連接層；最后對模型進行訓練，確定最優參數，得到臺風軌跡的預測經緯度輸出值。

2.如權利1所述的系統，其特征在于，構建包含臺風軌跡經緯度的用于模型訓練和測試的數據集，其比例為8∶2。

3.如權利1所述的系統，其特征在于，所述對數據進行缺失值填補、數值歸一化以及對數據進行切分，整合成可以輸入到神經網絡的形式，具體包括：通過python中pandas庫的isnull函數檢索海洋歷史數據中的缺省值，并將其填補為0；通過離差標準化的方法，對數據進行線性變化，將其映射到[0，1]之間。

4.如權利1所述的系統，其特征在于，所述搭建臺風軌跡預測模型主要包括：輸入層、隱含層和輸出層。

(1)輸入層

輸入層是把臺風歷史數據處理成神經網絡所能夠接收并處理的張量形式。具體分割算法如下所示：

輸入：海平面高度時間序列T＝{x₁，x₂，…，x_n}

輸出：H＝{(X₁，Y₁)，(X₂，Y₂)，…，(X_n-L，Y_n-L)}＝{x₁，x₂，…，x_n}

a：置i＝1，

b：如果i＞n-L，則停止循環，否則輸出先前序列X_i＝{x_i，x_i+1，…，x_i+L}以及先前序列X_i對應目標值Y_i，

c：置i＝i+1轉b。

(2)隱含層

隱含層主要包括一個雙向GRU層和一個注意力機制模塊。

雙向GRU的當前隱含層狀態由當前的輸入x_t、t-1時刻前向隱層狀態的輸出值和t-1時刻反向隱層狀態的輸出值共同決定。因此雙向GRU可以看作是兩個方向相反的GRU的結合體，其在t時刻的隱含層狀態h_t可以由和加權求和決定：

RGU()表示對非線性激活函數，u_t、v_t分別表示t時刻前向隱藏狀態和反向隱藏狀態所對應的權重參數，b_t表示t時刻隱含層所對應的偏置。

引入注意力機制模塊后，隱含層狀態會進行改變。初始隱含層狀態到新的隱含層狀態g是各個隱含層狀態在新的隱含層狀態所占的比重系數ω_i和初始隱含層的輸入h_i的乘積的累加和，通過以下公式可以實現從輸入的初始狀態到新的注意力機制的轉換。

e_i＝α_iATT(β_ih_i+c_i) (6)

其中e_i分別是第i時刻隱含層h_i的能量值，α_i、β_i是權重系數矩陣，c_i是偏置系數，ATT()表示的是激活函數。

(3)輸出層

輸出層是一層全連接層。全連接層起到將學到的特征表示映射到樣本的標記空間的作用，可以轉變張量維度，得到模型想要的輸出預測的的維度。

5.如權利4所述的系統，其特征在于，所述激活函數選用RELU，損失函數選擇MSE，隱含層初始參數為隨機確定。