[發(fā)明專利]一種WTA注意力機(jī)制神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法和裝置

在審

• 申請?zhí)枺?/td>: 202211399604.9
• 申請日: 2022-11-09
• 公開（公告）號: CN115527088A
• 公開（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 曾嘯;陳霖;李迪;劉淡冰;黃嘉明;胡欣欣;陳兆煒;蟻殷翔;王亞迪;苗浩;劉錦湖;王強(qiáng);徐雪丹
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司;廣東電網(wǎng)有限責(zé)任公司珠海供電局
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V10/44;G06N3/08;G06N3/04
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 楊藝

本發(fā)明公開了一種WTA注意力機(jī)制神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法和裝置，當(dāng)接收到圖像訓(xùn)練數(shù)據(jù)集時(shí)，對圖像訓(xùn)練數(shù)據(jù)集進(jìn)行雙向生成對抗訓(xùn)練，生成對應(yīng)的目標(biāo)訓(xùn)練樣本數(shù)據(jù)，并獲取網(wǎng)絡(luò)構(gòu)建參數(shù)，采用網(wǎng)絡(luò)構(gòu)建參數(shù)構(gòu)建初始WTA注意力機(jī)制網(wǎng)絡(luò)模型，并進(jìn)行訓(xùn)練，生成目標(biāo)WTA注意力機(jī)制網(wǎng)絡(luò)模型，當(dāng)接收到目標(biāo)圖像數(shù)據(jù)時(shí)，提取對應(yīng)的輸入特征圖，并輸入目標(biāo)WTA注意力機(jī)制網(wǎng)絡(luò)模型，生成WTA路徑圖，采用WTA路徑圖反饋優(yōu)化目標(biāo)WTA注意力機(jī)制網(wǎng)絡(luò)模型；解決了通過現(xiàn)有的運(yùn)用全局池化的方法更改神經(jīng)網(wǎng)絡(luò)，但是會(huì)存在可解釋性較差，神經(jīng)網(wǎng)絡(luò)性能提升不明顯的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)構(gòu)建技術(shù)領(lǐng)域，尤其涉及一種WTA注意力機(jī)制神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法和裝置。

背景技術(shù)

贏家通吃(Winner Take All，WTA)是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一，其原理是利用抑制型神經(jīng)元最先激活，會(huì)傳遞激活脈沖信號到對應(yīng)輸出層神經(jīng)元，使其激活，同時(shí)傳遞抑制脈沖信號到其他輸出層神經(jīng)元，抑制其激活。

目前，隨著圖像數(shù)據(jù)集日漸龐大，圖片冗余信息也變得非常多，通過現(xiàn)有的神經(jīng)網(wǎng)絡(luò)難以關(guān)注到輸入圖像上的重要特征，且現(xiàn)有的注意力機(jī)制注重從整體上改變神經(jīng)網(wǎng)絡(luò)，例如運(yùn)用全局池化的方法更改神經(jīng)網(wǎng)絡(luò)，但是會(huì)存在可解釋性較差，神經(jīng)網(wǎng)絡(luò)性能提升不明顯的問題。

發(fā)明內(nèi)容

本發(fā)明提供了一種WTA注意力機(jī)制神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法和裝置，解決了通過現(xiàn)有的神經(jīng)網(wǎng)絡(luò)難以關(guān)注到輸入圖像上的重要特征，且現(xiàn)有的注意力機(jī)制注重從整體上改變神經(jīng)網(wǎng)絡(luò)，例如運(yùn)用全局池化的方法更改神經(jīng)網(wǎng)絡(luò)，但是會(huì)存在可解釋性較差，神經(jīng)網(wǎng)絡(luò)性能提升不明顯的技術(shù)問題。

本發(fā)明第一方面提供的一種WTA注意力機(jī)制神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，包括：

當(dāng)接收到圖像訓(xùn)練數(shù)據(jù)集時(shí)，對所述圖像訓(xùn)練數(shù)據(jù)集進(jìn)行雙向生成對抗訓(xùn)練，生成對應(yīng)的目標(biāo)訓(xùn)練樣本數(shù)據(jù)，并獲取網(wǎng)絡(luò)構(gòu)建參數(shù)；

采用所述網(wǎng)絡(luò)構(gòu)建參數(shù)構(gòu)建初始WTA注意力機(jī)制網(wǎng)絡(luò)模型；

采用所述目標(biāo)訓(xùn)練樣本數(shù)據(jù)對所述初始WTA注意力機(jī)制網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，生成目標(biāo)WTA注意力機(jī)制網(wǎng)絡(luò)模型；

當(dāng)接收到目標(biāo)圖像數(shù)據(jù)時(shí)，提取所述目標(biāo)圖像數(shù)據(jù)對應(yīng)的輸入特征圖；

采用所述輸入特征圖輸入所述目標(biāo)WTA注意力機(jī)制網(wǎng)絡(luò)模型，生成WTA路徑圖；

采用所述WTA路徑圖反饋優(yōu)化所述目標(biāo)WTA注意力機(jī)制網(wǎng)絡(luò)模型。

可選地，涉及初始GAN網(wǎng)絡(luò)模型，所述初始GAN網(wǎng)絡(luò)模型包括生成器和識別器，所述當(dāng)接收到圖像訓(xùn)練數(shù)據(jù)集時(shí)，對所述圖像訓(xùn)練數(shù)據(jù)集進(jìn)行雙向生成對抗訓(xùn)練，生成對應(yīng)的目標(biāo)訓(xùn)練樣本數(shù)據(jù)，并獲取網(wǎng)絡(luò)構(gòu)建參數(shù)的步驟，包括：

當(dāng)接收到圖像訓(xùn)練數(shù)據(jù)集時(shí)，提取所述圖像訓(xùn)練數(shù)據(jù)集中每個(gè)樣本訓(xùn)練圖像對應(yīng)的第一特征信息；

采用所述第一特征信息輸入所述生成器進(jìn)行學(xué)習(xí)，生成對應(yīng)的目標(biāo)訓(xùn)練圖像；

提取所述目標(biāo)訓(xùn)練圖像對應(yīng)的第二特征信息；

通過所述識別器對所述第一特征信息與所述第二特征信息進(jìn)行辨別，生成辨別結(jié)果；

若所述辨別結(jié)果為所述初始GAN網(wǎng)絡(luò)模型不能辨別出所述第一特征信息與所述第二特征信息，則生成目標(biāo)GAN網(wǎng)絡(luò)模型；

采用所述圖像訓(xùn)練數(shù)據(jù)集輸入所述目標(biāo)GAN網(wǎng)絡(luò)模型進(jìn)行雙向生成對抗訓(xùn)練，生成對應(yīng)的目標(biāo)訓(xùn)練樣本數(shù)據(jù)，并獲取網(wǎng)絡(luò)構(gòu)建參數(shù)。

可選地，還包括：

若所述辨別結(jié)果為所述初始GAN網(wǎng)絡(luò)模型能辨別出所述第一特征信息與所述第二特征信息，按照預(yù)設(shè)梯度調(diào)整所述生成器和所述識別器的參數(shù)，并跳轉(zhuǎn)所述通過所述識別器對所述第一特征信息與所述第二特征信息進(jìn)行辨別，生成辨別結(jié)果的步驟。