[發明專利]一種WTA注意力機制神經網絡模型的優化方法和裝置

在審

• 申請號: 202211399604.9
• 申請日: 2022-11-09
• 公開（公告）號: CN115527088A
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 曾嘯;陳霖;李迪;劉淡冰;黃嘉明;胡欣欣;陳兆煒;蟻殷翔;王亞迪;苗浩;劉錦湖;王強;徐雪丹
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司珠海供電局
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V10/44;G06N3/08;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊藝

1.一種WTA注意力機制神經網絡模型的優化方法，其特征在于，包括：

當接收到圖像訓練數據集時，對所述圖像訓練數據集進行雙向生成對抗訓練，生成對應的目標訓練樣本數據，并獲取網絡構建參數；

采用所述網絡構建參數構建初始WTA注意力機制網絡模型；

采用所述目標訓練樣本數據對所述初始WTA注意力機制網絡模型進行訓練，生成目標WTA注意力機制網絡模型；

當接收到目標圖像數據時，提取所述目標圖像數據對應的輸入特征圖；

采用所述輸入特征圖輸入所述目標WTA注意力機制網絡模型，生成WTA路徑圖；

采用所述WTA路徑圖反饋優化所述目標WTA注意力機制網絡模型。

2.根據權利要求1所述的WTA注意力機制神經網絡模型的優化方法，其特征在于，涉及初始GAN網絡模型，所述初始GAN網絡模型包括生成器和識別器，所述當接收到圖像訓練數據集時，對所述圖像訓練數據集進行雙向生成對抗訓練，生成對應的目標訓練樣本數據，并獲取網絡構建參數的步驟，包括：

當接收到圖像訓練數據集時，提取所述圖像訓練數據集中每個樣本訓練圖像對應的第一特征信息；

采用所述第一特征信息輸入所述生成器進行學習，生成對應的目標訓練圖像；

提取所述目標訓練圖像對應的第二特征信息；

通過所述識別器對所述第一特征信息與所述第二特征信息進行辨別，生成辨別結果；

若所述辨別結果為所述初始GAN網絡模型不能辨別出所述第一特征信息與所述第二特征信息，則生成目標GAN網絡模型；

采用所述圖像訓練數據集輸入所述目標GAN網絡模型進行雙向生成對抗訓練，生成對應的目標訓練樣本數據，并獲取網絡構建參數。

3.根據權利要求2所述的WTA注意力機制神經網絡模型的優化方法，其特征在于，還包括：

若所述辨別結果為所述初始GAN網絡模型能辨別出所述第一特征信息與所述第二特征信息，按照預設梯度調整所述生成器和所述識別器的參數，并跳轉所述通過所述識別器對所述第一特征信息與所述第二特征信息進行辨別，生成辨別結果的步驟。

4.根據權利要求1所述的WTA注意力機制神經網絡模型的優化方法，其特征在于，所述采用所述目標訓練樣本數據對所述初始WTA注意力機制網絡模型進行訓練，生成目標WTA注意力機制網絡模型的步驟，包括：

將所述目標訓練樣本數據輸入所述初始WTA注意力機制網絡模型，生成對應的訓練樣本路徑圖；

計算所述訓練樣本路徑圖與關聯的標準路徑圖之間的訓練損失值；

比較所述訓練損失值與預設的訓練標準閾值；

若所述訓練損失值小于或等于所述訓練標準閾值，則停止訓練，生成目標WTA注意力機制網絡模型。

5.根據權利要求1所述的WTA注意力機制神經網絡模型的優化方法，其特征在于，涉及LSTM網絡模型，所述采用所述輸入特征圖輸入所述目標WTA注意力機制網絡模型，生成WTA路徑圖的步驟，包括：

采用所述輸入特征圖輸入所述目標WTA注意力機制網絡模型，確定對應的贏家狀態數據；

通過所述LSTM網絡模型記錄所述贏家狀態數據關聯的目標注意力位置數據，并輸出WTA路徑圖。

6.一種WTA注意力機制神經網絡模型的優化裝置，其特征在于，包括：

目標訓練樣本數據獲取模塊，用于當接收到圖像訓練數據集時，對所述圖像訓練數據集進行雙向生成對抗訓練，生成對應的目標訓練樣本數據，并獲取網絡構建參數；

初始WTA注意力機制網絡模型構建模塊，用于采用所述網絡構建參數構建初始WTA注意力機制網絡模型；

目標WTA注意力機制網絡模型生成模塊，用于采用所述目標訓練樣本數據對所述初始WTA注意力機制網絡模型進行訓練，生成目標WTA注意力機制網絡模型；

輸入特征圖獲取模塊，用于當接收到目標圖像數據時，提取所述目標圖像數據對應的輸入特征圖；

WTA路徑圖生成模塊，用于采用所述輸入特征圖輸入所述目標WTA注意力機制網絡模型，生成WTA路徑圖；

優化模塊，用于采用所述WTA路徑圖反饋優化所述目標WTA注意力機制網絡模型。