[發(fā)明專利]圖像處理方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110333434.3
• 申請日: 2021-03-29
• 公開（公告）號: CN112990053B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 張凱皓;羅文寒;劉威
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V40/12
• 分類號: G06V40/12;G06V40/16;G06V40/70;G06V10/26;G06V10/40;G06V10/774;G06V10/80;G06V10/764;G06V10/82;G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 祝亞男

1.一種圖像處理方法，其特征在于，所述方法包括：

調(diào)用特征提取網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取得到圖像特征集，所述特征提取網(wǎng)絡(luò)包括網(wǎng)狀連接的多個特征提取單元，所述網(wǎng)狀連接包括存在至少一個特征提取單元的輸出端與至少兩個特征提取單元的輸入端具有連接關(guān)系，所述圖像特征集包括所述多個特征提取單元分別輸出的多個圖像特征；所述特征提取網(wǎng)絡(luò)包括M行N列特征提取單元，第一行的特征提取單元包括順序連接的N個特征提取單元，第一行的第j列特征提取單元的輸出端分別與其它行的第j列特征提取單元的輸入端具有連接關(guān)系，M為大于1的整數(shù)，N為正整數(shù)，j為不大于N的正整數(shù)；

將所述特征提取網(wǎng)絡(luò)中每行特征提取單元對應(yīng)的圖像特征級聯(lián)為一個橫向級聯(lián)特征，得到橫向級聯(lián)特征集；所述橫向級聯(lián)特征集包括M個橫向級聯(lián)特征；

將所述特征提取網(wǎng)絡(luò)中每列特征提取單元對應(yīng)的圖像特征級聯(lián)為一個縱向級聯(lián)特征，得到縱向級聯(lián)特征集；所述縱向級聯(lián)特征集包括N個縱向級聯(lián)特征；

將至少兩個級聯(lián)特征集中的第i個級聯(lián)特征集轉(zhuǎn)置，得到轉(zhuǎn)置結(jié)果，i為正整數(shù)；將所述轉(zhuǎn)置結(jié)果與所述第i個級聯(lián)特征集相乘得到相乘結(jié)果；將所述相乘結(jié)果輸入激活函數(shù)得到第i個級聯(lián)特征集對應(yīng)的第i個相關(guān)矩陣；重復(fù)本步驟得到所述至少兩個級聯(lián)特征集分別對應(yīng)的至少兩個相關(guān)矩陣；

根據(jù)所述至少兩個級聯(lián)特征集中第i個級聯(lián)特征集對應(yīng)的第i個相關(guān)矩陣，對所述第i個級聯(lián)特征集進(jìn)行加權(quán)得到第i個加權(quán)結(jié)果，重復(fù)本步驟得到所述至少兩個級聯(lián)特征集對應(yīng)的至少兩個加權(quán)結(jié)果，i為正整數(shù)；

對所述至少兩個加權(quán)結(jié)果進(jìn)行重塑得到加權(quán)特征；

對所述加權(quán)特征進(jìn)行圖像處理，得到圖像處理結(jié)果；

其中，所述至少兩個級聯(lián)特征集包括所述橫向級聯(lián)特征集和所述縱向級聯(lián)特征集。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)用特征提取網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取得到圖像特征集，包括：

調(diào)用第一行的特征提取單元對所述輸入圖像進(jìn)行特征提取得到N個圖像特征，所述第一行的特征提取單元中的后一個特征提取單元的輸入是前一個特征提取單元輸出的所述圖像特征；

調(diào)用其他行中每一行的特征提取單元對所述N個圖像特征分別進(jìn)行特征提取，得到N個圖像特征；所述其他行中每一行的第j個特征單元的輸入是所述第一行的第j列特征提取單元輸出的圖像特征；

共得到所述M行N列特征提取單元分別輸出的M*N個圖像特征，組成所述圖像特征集；j為不大于N的整數(shù)，N、M為正整數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述其他行中的每一行特征提取單元中的N個特征提取單元分別對應(yīng)有N個空洞卷積核，所述其他行中的不同行特征提取單元中的第j列特征提取單元對應(yīng)的空洞卷積核不同；所述方法還包括：

調(diào)用其他行中的每一行的第j列特征提取單元對應(yīng)的空洞卷積核，對第一行的第j列特征提取單元輸出的圖像特征進(jìn)行空洞卷積，得到第j個空洞卷積結(jié)果；

所述調(diào)用其他行中每一行的特征提取單元對所述N個圖像特征分別進(jìn)行特征提取，得到N個圖像特征，包括：

調(diào)用所述其他行中每一行的第j列特征提取單元對所述第j個空洞卷積結(jié)果進(jìn)行特征提取，得到第j個圖像特征；將所述j加1后再次執(zhí)行上述步驟，直至得到N個圖像特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述至少兩個加權(quán)結(jié)果進(jìn)行重塑得到所述加權(quán)特征，包括：

將重塑后的所述圖像特征集，與所述至少兩個加權(quán)結(jié)果分別相加，得到第一相加結(jié)果；

將重塑后的所述第一相加結(jié)果輸入卷積神經(jīng)網(wǎng)絡(luò)得到所述加權(quán)特征。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)用特征提取網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取得到圖像特征集，包括：

調(diào)用第一卷積層對所述輸入圖像進(jìn)行卷積得到卷積后的輸入圖像；

調(diào)用所述特征提取網(wǎng)絡(luò)對所述卷積后的輸入圖像進(jìn)行特征提取得到所述圖像特征集。