[發(fā)明專利]一種結(jié)合注意力機制的區(qū)域型海表面溫度預(yù)測方法

有效

• 申請?zhí)枺?/td>: 201910477316.2
• 申請日: 2019-06-03
• 公開（公告）號: CN110197307B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 賀琪;查鋮;宋巍;趙丹楓;黃冬梅;胡澤煜
• 申請（專利權(quán)）人: 上海海洋大學(xué)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06F30/20
• 代理公司: 上海伯瑞杰知識產(chǎn)權(quán)代理有限公司 31227
• 代理人: 俞磊

1.一種結(jié)合注意力機制的區(qū)域型海表面溫度預(yù)測方法，其特征在于：包括如下步驟：

1)、將區(qū)域內(nèi)每天的SST數(shù)據(jù)處理成一個矩陣，依次按時間先后進行排列，構(gòu)成矩陣序列，作為CA-ConvLSTM模型的輸入；

2)、對SST矩陣進行處理，通過卷積層提取各個記錄點的分布特征；

3)、利用注意力機制為獲得的矩陣特征分配注意力權(quán)重，然后將注意力權(quán)重乘上對應(yīng)的矩陣特征，得到加權(quán)特征；

4)、最后，將加權(quán)特征作為ConvLSTM模型的輸入，利用ConvLSTM訓(xùn)練預(yù)測模型，最終獲得預(yù)測結(jié)果；

所述SST矩陣卷積是將SST數(shù)據(jù)整理為長度為|F|的數(shù)字矩陣序列后，利用卷積對矩陣進行特征提取以用于獲取局部特征；卷積操作通過卷積核的移動來完成的，輸出矩陣的每一個值就是輸入矩陣中每個3×3區(qū)域的值與3×3卷積核對應(yīng)位置的值乘積的和；

所述區(qū)域內(nèi)每天的SST數(shù)據(jù)處理成一個W·H矩陣，區(qū)域內(nèi)的SST序列F＝F₁，F(xiàn)₂，…，F(xiàn)_|F|，|F|表示SST序列的時間長度，F(xiàn)_i＝W·H為該區(qū)域內(nèi)第i(1≤i≤|F|，i∈Z)天的所有記錄點的SST，即一個W·H的矩陣，這些矩陣構(gòu)成的序列作為CA-ConvLSTM模型的輸入；

通過卷積操作得到矩陣特征序列，在預(yù)測中，使用k天的SST來預(yù)測未來一天或五天的SST，k的取值不同；從第n天開始，這k天的矩陣特征序列為M＝M_n+1，M_n+2，…，M_n+k-1，M_n+k，M_i為第i(n≤i≤n+k，i∈Z)個矩陣特征，即(W-2)·(H-2)的矩陣；

所述CA-ConvLSTM模型自動學(xué)習(xí)注意力權(quán)重的方法如下：

首先通過池化層得到每個矩陣特征的均值，即V＝[v_n+1，v_n+2，…，v_n+k-1，v_n+k]，此時v_i是M_i矩陣中所有數(shù)值的平均值；注意力模型Φ的定義如下：

D＝tanh(w*V+b)?????(1)

A＝softmaχ(W’*D+b’)???(2)

其中w，b是全連接層的權(quán)重和偏置，D是全連接層的輸出以及softmax的輸入，W’和b’是softmax的權(quán)重和偏置，A是softmax的輸出，即注意力權(quán)重，是一個長度為k的向量，表示為A＝[a_n+1，a_n+2，…，a_n+k-1，a_n+k，]；之后，依次將注意力權(quán)重與對應(yīng)矩陣特征相乘可得到一個新的特征序列，即加權(quán)特征序列，表示為N＝N_n+1，N_n+2，…，N_n+k-1，N_n+k，N_i為第i個加權(quán)特征，N_i＝a_i*M_i，為一個(W-2)·(H-2)的矩陣；

在矩陣特征序列M進入ConvLSTM模型前，通過注意力機制自動給矩陣特征序列M進行加權(quán)，獲得加權(quán)特征序列N；

所述ConvLSTM的計算公式如下：

i_t＝σ(w_χi*χ_t+w_hi*H_t-1+wci·Ct-1+bi)???(3)

f_t＝σ(w_χf*χ_t+w_hf*H_t-1+wci·Ct-1+bf)???(4)

o_t＝σ(w_χo*χ_t+w_ht*H_t-1+wct·Ct+bt)???(6)

H_t＝o_t·tanh(C_t)??????(7)

其中*代表卷積操作，·代表對應(yīng)相乘，σ是sigmoid激活函數(shù)。