[發(fā)明專利]用于圖像語義分割的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110322628.3
• 申請(qǐng)日: 2021-03-25
• 公開（公告）號(hào): CN112990219B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 龍翔;賈壯;彭巖;鄭弘暉;韓樹民
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V10/26
• 分類號(hào): G06V10/26;G06V10/82;G06N3/0464
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本公開提供了用于圖像語義分割的方法和裝置，涉及人工智能領(lǐng)域，具體為計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：獲取待語義分割的圖像；將圖像輸入線性變換層，得到特征序列；將特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，其中自注意力網(wǎng)絡(luò)由自注意力變換層、自注意力下采樣層、自注意力上采樣層中的至少一層組成；將特征矩陣輸入分類器，得到圖像分割結(jié)果。該實(shí)施方式完全拋棄了卷積層，整個(gè)網(wǎng)絡(luò)純粹由自注意力變換層組成，能夠很好的獲取到全局信息，從而提高圖像語義分割的準(zhǔn)確性。

技術(shù)領(lǐng)域

本公開涉及人工智能領(lǐng)域，尤其是計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)領(lǐng)域，具體為用于圖像語義分割的方法和裝置。

背景技術(shù)

語義分割是一個(gè)視覺技術(shù)中非常重要的一個(gè)領(lǐng)域，在短視頻、自動(dòng)駕駛、遙感、醫(yī)療影像等領(lǐng)域都有廣泛的應(yīng)用。

現(xiàn)在最好的語義分割網(wǎng)絡(luò)都是基于深度卷積網(wǎng)絡(luò)開發(fā)的，但卷積網(wǎng)絡(luò)自身是有一定的限制的，它每個(gè)位置的感受野大小是固定的，僅能看到局部的信息。這就導(dǎo)致了很多場(chǎng)景下，一些大的物體反而分割結(jié)果不好。現(xiàn)在的攝像頭像素越來越高，拍攝的圖片越來越大，卷積網(wǎng)絡(luò)已經(jīng)很難看到整張圖像的信息。

發(fā)明內(nèi)容

本公開提供了一種用于圖像語義分割的方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

根據(jù)本公開的第一方面，提供了一種用于圖像語義分割的方法，包括：獲取待語義分割的圖像；將圖像輸入線性變換層，得到特征序列；將特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，其中自注意力網(wǎng)絡(luò)由自注意力變換層、自注意力下采樣層、自注意力上采樣層中的至少一層組成；將特征矩陣輸入分類器，得到圖像分割結(jié)果。

根據(jù)本公開的第二方面，提供了一種用于圖像語義分割的裝置，包括：獲取單元，被配置成獲取待語義分割的圖像；變換單元，被配置成將圖像輸入線性變換層，得到特征序列；檢測(cè)單元，被配置成將特征序列輸入自注意力網(wǎng)絡(luò)，得到特征矩陣，其中自注意力網(wǎng)絡(luò)由自注意力變換層、自注意力下采樣層、自注意力上采樣層中的至少一層組成；分類單元，被配置成將特征矩陣輸入分類器，得到圖像分割結(jié)果。

根據(jù)本公開的第三方面，提供了一種用于圖像語義分割的電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行第一方面中任一項(xiàng)所述的方法。

根據(jù)本公開的第四方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)第一方面中任一項(xiàng)所述的方法。

根據(jù)本公開的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)第一方面中任一項(xiàng)所述的方法。

本公開的實(shí)施例提供的用于圖像語義分割的方法和裝置，可以將任意一個(gè)深度卷積網(wǎng)絡(luò)的宏觀結(jié)構(gòu)遷移到對(duì)應(yīng)的純深度自注意力變換網(wǎng)絡(luò)上，將深度卷積網(wǎng)絡(luò)的前幾個(gè)池化層和卷積層替換為輸入線性變換層，將其他卷積層替換為自注意力變換層，將池化層替換為自注意力下采樣層，將上采樣層替換為自注意力上采樣層。就能得到一個(gè)有效的純深度自注意力變換網(wǎng)絡(luò)，用于圖像的分割，從而可以擴(kuò)大感受野，看到全局信息。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對(duì)本公開的限定。其中：

圖1是本公開的一個(gè)實(shí)施例可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖；

圖2是根據(jù)本公開的用于圖像語義分割的方法的一個(gè)實(shí)施例的流程圖；

圖3是根據(jù)本公開的用于圖像語義分割的方法的一個(gè)應(yīng)用場(chǎng)景的示意圖；