[發(fā)明專利]圖像自動標(biāo)注方法、系統(tǒng)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202110023565.1
• 申請日: 2021-01-08
• 公開（公告）號: CN112732967B
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計）人: 陳燈;吳瓊;魏巍;張彥鐸;吳云韜;于寶成;劉瑋;段功豪;周華兵;彭麗
• 申請（專利權(quán)）人: 武漢工程大學(xué);武漢引行科技有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06V10/40;G06V10/80;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 厲洋洋

1.一種圖像自動標(biāo)注方法，其特征在于，包括以下步驟：

接收待標(biāo)記圖像；

將待標(biāo)記圖像輸入到自動圖像標(biāo)注模型中，以使所述自動圖像標(biāo)注模型中的第二主干卷積神經(jīng)網(wǎng)絡(luò)、第二卷積注意力網(wǎng)絡(luò)、第二多尺度特征融合分支網(wǎng)絡(luò)依次對所述待標(biāo)記圖像進(jìn)行處理，得到第K級第三圖像特征圖，并使所述自動圖像標(biāo)注模型中的第二標(biāo)簽預(yù)測網(wǎng)絡(luò)對所述第K級第三圖像特征圖進(jìn)行處理，得到所述待標(biāo)記圖像的語義標(biāo)簽，其中K為正整數(shù)；

使所述自動圖像標(biāo)注模型中的第二主干卷積神經(jīng)網(wǎng)絡(luò)、第二卷積注意力網(wǎng)絡(luò)、第二多尺度特征融合分支網(wǎng)絡(luò)依次對所述待標(biāo)記圖像進(jìn)行處理，得到第K級第三圖像特征圖，包括：

利用所述自動圖像標(biāo)注模型中的第二主干卷積神經(jīng)網(wǎng)絡(luò)對所述待標(biāo)記圖像進(jìn)行編碼，得到第1級第一圖像特征圖至第K級第一圖像特征圖；

利用所述自動圖像標(biāo)注模型中的第二卷積注意力網(wǎng)絡(luò)分別對所述第1級第一圖像特征圖至第K級第一圖像特征圖進(jìn)行處理，得到第1級第二圖像特征圖至第K級第二圖像特征圖；

根據(jù)所述自動圖像標(biāo)注模型中的第二多尺度特征融合分支網(wǎng)絡(luò)和所述第1級第二圖像特征圖至第K級第二圖像特征圖，得到第2級第三圖像特征圖至第K級第三圖像特征圖，其中，K為正整數(shù)；

根據(jù)所述自動圖像標(biāo)注模型中的第二多尺度特征融合分支網(wǎng)絡(luò)和所述第1級第二圖像特征圖至第K級第二圖像特征圖，得到第2級第三圖像特征圖至第K級第三圖像特征圖，包括：

根據(jù)第六公式將第k-1級第三圖像特征圖與第k級第二圖像特征圖進(jìn)行融合，所述第六公式為：

直至得到第K級第三圖像特征圖，其中，表示第k級第三圖像特征圖，F(xiàn)”_k表示第k級第二圖像特征圖，表示第k-1級第三圖像特征圖，2≤k≤K，且當(dāng)k＝2時，F(xiàn)₁^f＝F₁”即第1級第三圖像特征圖為第1級第二圖像特征圖，表示由卷積，批歸一化和激活函數(shù)組成的第二復(fù)合函數(shù)，表示由卷積，批歸一化和激活函數(shù)組成的第三復(fù)合函數(shù)。

2.根據(jù)權(quán)利要求1所述的一種圖像自動標(biāo)注方法，其特征在于，還包括：

獲取實驗數(shù)據(jù)集和預(yù)訓(xùn)練模型，所述實驗數(shù)據(jù)集包括多個語義標(biāo)簽；

根據(jù)卷積注意力網(wǎng)絡(luò)、多尺度特征融合分支網(wǎng)絡(luò)、標(biāo)簽預(yù)測網(wǎng)絡(luò)和主干卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建自動圖像標(biāo)注網(wǎng)絡(luò)；

將所述預(yù)訓(xùn)練模型加載到所述自動圖像標(biāo)注網(wǎng)絡(luò)中的主干卷積神經(jīng)網(wǎng)絡(luò)中，得到第一主干卷積神經(jīng)網(wǎng)絡(luò)；

利用所述實驗數(shù)據(jù)集對所述自動圖像標(biāo)注網(wǎng)絡(luò)中的卷積注意力網(wǎng)絡(luò)、多尺度特征融合分支網(wǎng)絡(luò)、標(biāo)簽預(yù)測網(wǎng)絡(luò)共同進(jìn)行訓(xùn)練，得到第一卷積注意力網(wǎng)絡(luò)、第一多尺度特征融合分支網(wǎng)絡(luò)和第一標(biāo)簽預(yù)測網(wǎng)絡(luò)；

利用所述實驗數(shù)據(jù)集對含有所述第一主干卷積神經(jīng)網(wǎng)絡(luò)、第一卷積注意力網(wǎng)絡(luò)、第一多尺度特征融合分支網(wǎng)絡(luò)和第一標(biāo)簽預(yù)測網(wǎng)絡(luò)的自動圖像標(biāo)注網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到含有第二主干卷積神經(jīng)網(wǎng)絡(luò)、第二卷積注意力網(wǎng)絡(luò)、第二多尺度特征融合分支網(wǎng)絡(luò)和第二標(biāo)簽預(yù)測網(wǎng)絡(luò)的自動圖像標(biāo)注模型。

3.根據(jù)權(quán)利要求1所述的一種圖像自動標(biāo)注方法，其特征在于，利用所述自動圖像標(biāo)注模型中的第二主干卷積神經(jīng)網(wǎng)絡(luò)對所述待標(biāo)記圖像進(jìn)行編碼，得到第1級第一圖像特征圖至第K級第一圖像特征圖，包括：

根據(jù)第一公式對所述待標(biāo)記圖像進(jìn)行編碼，得到第1級第一圖像特征圖至第K級第一圖像特征圖，所述第一公式為：F_n＝M_n(F_n-1)，

其中，1≤n≤K，n為正整數(shù)，F(xiàn)_n為第n級第一圖像特征圖，F(xiàn)_n-1為第n-1級第一圖像特征圖，當(dāng)n＝1時，F(xiàn)_n-1即F₀為待標(biāo)記圖像的圖像特征圖，M_n表示的由卷積、池化、批歸一化和激活函數(shù)組成的第一復(fù)合函數(shù)。