[發(fā)明專利]用于圖像語義分割的方法和裝置

有效

• 申請?zhí)枺?/td>: 202110322628.3
• 申請日: 2021-03-25
• 公開（公告）號: CN112990219B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計）人: 龍翔;賈壯;彭巖;鄭弘暉;韓樹民
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/82;G06N3/0464
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于圖像語義分割的方法，包括：

獲取待語義分割的圖像；

將所述圖像輸入線性變換層，得到特征序列；

將所述特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，其中自注意力網(wǎng)絡(luò)由自注意力變換層、自注意力下采樣層、自注意力上采樣層中的至少一層組成；

將所述特征矩陣輸入分類器，得到圖像分割結(jié)果；

其中，所述自注意力網(wǎng)絡(luò)通過如下方法得到：

獲取深度卷積網(wǎng)絡(luò)，其中，所述深度卷積網(wǎng)絡(luò)包括以下至少一層：卷積層、池化層、上采樣層；

將所述深度卷積網(wǎng)絡(luò)的前預(yù)定數(shù)目的池化層和卷積層替換為線性變換層、其他卷積層替換為自注意力變換層、其他池化層替換為自注意力下采樣層、所述上采樣層替換為自注意力上采樣層，得到初始自注意力網(wǎng)絡(luò)；

獲取樣本集；

基于所述樣本集對所述初始自注意力網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)，得到自注意力網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述圖像輸入線性變換層，得到特征序列，包括：

將所述圖像劃分成預(yù)定尺寸的至少一個小格子；

對于3通道圖像，將所述至少一個小格子中每個小格子內(nèi)的像素值拉平，得到一維向量；

將所述至少一個小格子中每個小格子對應(yīng)的一維向量通過和位置相關(guān)的線性變換層進(jìn)行轉(zhuǎn)換，得到每個小格子對應(yīng)的特征，組成了特征序列。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，包括：

將所述特征序列轉(zhuǎn)換成第一矩陣后輸入多頭自注意力運(yùn)算單元，得到第二矩陣；

將所述第二矩陣通過多層感知器進(jìn)行歸一化，得到特征矩陣。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，包括：

將所述特征序列轉(zhuǎn)換成第一矩陣后輸入多頭自注意力運(yùn)算單元，得到第二矩陣；

將所述第二矩陣通過多層感知器進(jìn)行歸一化，得到第三矩陣；

將所述第三矩陣輸入第一形狀重組層以減少所述第三矩陣的行數(shù)，得到特征矩陣。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，包括：

將所述特征序列轉(zhuǎn)換成第一矩陣后輸入多頭自注意力運(yùn)算單元，得到第二矩陣；

將所述第二矩陣通過多層感知器進(jìn)行歸一化，得到第三矩陣；

將所述第三矩陣輸入第二形狀重組層以增加所述第三矩陣的行數(shù)，得到特征矩陣。

6.一種用于圖像語義分割的裝置，包括：

獲取單元，被配置成獲取待語義分割的圖像；

變換單元，被配置成將所述圖像輸入線性變換層，得到特征序列；

檢測單元，被配置成將所述特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，其中自注意力網(wǎng)絡(luò)由自注意力變換層、自注意力下采樣層、自注意力上采樣層中的至少一層組成；

分類單元，被配置成將所述特征矩陣輸入分類器，得到圖像分割結(jié)果；

其中，所述裝置還包括生成單元，被配置成：

獲取深度卷積網(wǎng)絡(luò)，其中，所述深度卷積網(wǎng)絡(luò)包括以下至少一層：卷積層、池化層、上采樣層；

將所述深度卷積網(wǎng)絡(luò)的前預(yù)定數(shù)目的池化層和卷積層替換為線性變換層、其他卷積層替換為自注意力變換層、其他池化層替換為自注意力下采樣層、所述上采樣層替換為自注意力上采樣層，得到初始自注意力網(wǎng)絡(luò)；

獲取樣本集；

基于所述樣本集對所述初始自注意力網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)，得到自注意力網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求6所述的裝置，其中，所述變換單元進(jìn)一步被配置成：

將所述圖像劃分成預(yù)定尺寸的至少一個小格子；

對于3通道圖像，將所述至少一個小格子中每個小格子內(nèi)的像素值拉平，得到一維向量；

將所述至少一個小格子中每個小格子對應(yīng)的一維向量通過和位置相關(guān)的線性變換層進(jìn)行轉(zhuǎn)換，得到每個小格子對應(yīng)的特征，組成了特征序列。