[發(fā)明專利]一種混沌反向傳播圖神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202310031394.6
• 申請(qǐng)日: 2023-01-10
• 公開(kāi)（公告）號(hào): CN115761240B
• 公開(kāi)（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 陶鵬;陳洛南
• 申請(qǐng)（專利權(quán)）人: 國(guó)科大杭州高等研究院
• 主分類號(hào): G06V10/26
• 分類號(hào): G06V10/26;G06V20/70;G06V10/82;G06N7/08;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 杭州凱知專利代理事務(wù)所(普通合伙) 33267
• 代理人: 金國(guó)棟

本發(fā)明公開(kāi)一種混沌反向傳播圖神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割方法及裝置，該方法包括：步驟S1：將輸入圖像預(yù)分割成若干區(qū)域，并轉(zhuǎn)換成區(qū)域鄰接圖；步驟S2：輸入圖作為最大割問(wèn)題的輸入圖；步驟S3：構(gòu)建圖卷積神經(jīng)網(wǎng)絡(luò)，包含嵌入層和若干圖卷積層；步驟S4:使用混沌反向傳播算法訓(xùn)練圖卷積神經(jīng)網(wǎng)絡(luò)；步驟S5：網(wǎng)絡(luò)訓(xùn)練完成后，將輸出投影得到組合優(yōu)化問(wèn)題的解。本發(fā)明將語(yǔ)義分割問(wèn)題建模為最大割這一組合優(yōu)化問(wèn)題，不需要提供圖像的標(biāo)簽數(shù)據(jù)，同時(shí)可以靈活的根據(jù)輪廓清晰和語(yǔ)義分割準(zhǔn)確這一相矛盾的需求進(jìn)行調(diào)整，滿足不同語(yǔ)義分割任務(wù)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)(或者圖像處理)領(lǐng)域，具體地說(shuō)是一種混沌反向傳播圖神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割方法及裝置。

背景技術(shù)

圖像語(yǔ)義分割(Semantic?Segmentation)是圖像處理和是機(jī)器視覺(jué)技術(shù)中關(guān)于圖像理解的重要一環(huán)，是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)典型的熱點(diǎn)問(wèn)題，同時(shí)也是難點(diǎn)問(wèn)題，它是圖像處理的第一步，其目的是把目標(biāo)從背景中分離出來(lái)。語(yǔ)義分割的技術(shù)手段通常是根據(jù)圖像的灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個(gè)互不相交的區(qū)域，使得這些特征在同一區(qū)域內(nèi)表現(xiàn)出一致性或相似性，而在不同區(qū)域間表現(xiàn)出明顯的不同。經(jīng)過(guò)長(zhǎng)期的研究，語(yǔ)義分割已經(jīng)產(chǎn)生了相當(dāng)多的研究成果和方法。傳統(tǒng)的方法包含基于閾值的分割方法、基于區(qū)域的分割方法和基于邊緣檢測(cè)的分割方法等。近年來(lái)基于深度學(xué)習(xí)的方法逐漸成為主流，如基于特征編碼的VGGnet和ResNet；基于區(qū)域選擇的R-CNN；基于反卷積的FCN等等。然而，基于深度學(xué)習(xí)的方法存在一些缺陷，如由于依賴于BP算法及其變體而導(dǎo)致的局域極小問(wèn)題和需要標(biāo)簽數(shù)據(jù)的問(wèn)題等。此外，圖像語(yǔ)義分割相對(duì)于整圖分類或者目標(biāo)檢測(cè)的一個(gè)重要的困難點(diǎn)在于：該任務(wù)一方面要求高層語(yǔ)義特征正確分類，又要求輪廓盡可能貼合真實(shí)的邊界--像素級(jí)別要對(duì)齊。這兩個(gè)要求實(shí)際上是相反的，都需要對(duì)現(xiàn)有模型進(jìn)行改進(jìn)。

一方面，現(xiàn)有的組合優(yōu)化問(wèn)題(combinatorial?optimization?problem,COP)指的是從有限的一組對(duì)象中找到“最佳”對(duì)象的問(wèn)題，而所謂的“最佳”對(duì)象指的是找到某種評(píng)估分?jǐn)?shù)最高或成本最低的對(duì)象，它可能是一個(gè)集合、一個(gè)排列或者一個(gè)圖。最近，通過(guò)將組合優(yōu)化問(wèn)題的目標(biāo)函數(shù)轉(zhuǎn)化為可微分的損失函數(shù)，圖神經(jīng)網(wǎng)絡(luò)(graph?neural?network，GNN)被用來(lái)求解大規(guī)模組合優(yōu)化問(wèn)題，求解速度得到了極大地提升。由此，圖像語(yǔ)義分割就可以通過(guò)圖神經(jīng)網(wǎng)絡(luò)方式，轉(zhuǎn)換為最大割問(wèn)題進(jìn)行語(yǔ)義分類識(shí)別。另一方面，最近出現(xiàn)一種受大腦啟發(fā)的混沌反向傳播(chaotic?backpropagation，CBP)算法，被提出并用來(lái)訓(xùn)練傳統(tǒng)的多層感知器(MLP)，使得網(wǎng)絡(luò)模型最終優(yōu)化和泛化的性能相較傳統(tǒng)的BP算法及其變體(如SGDM和Adam)有明顯提升。

因此，圖像語(yǔ)義分割可以通過(guò)圖神經(jīng)網(wǎng)絡(luò)方式，轉(zhuǎn)換為最大割問(wèn)題進(jìn)行語(yǔ)義分類識(shí)別并提出一種全新的CGBP算法，即將原始用于MLP的CBP算法擴(kuò)展到圖神經(jīng)網(wǎng)絡(luò)上，以提高網(wǎng)絡(luò)模型的性能，得到更好的組合優(yōu)化問(wèn)題的可行解，從而對(duì)圖像進(jìn)行更高質(zhì)量的分割。

發(fā)明內(nèi)容

為了彌補(bǔ)現(xiàn)有技術(shù)的不足，本發(fā)明提出一種基于混沌反向傳播圖神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割方法，該方法將語(yǔ)義分割問(wèn)題建模為最大割這一組合優(yōu)化問(wèn)題，不需要提供圖像的標(biāo)簽數(shù)據(jù)，同時(shí)可以靈活的根據(jù)輪廓清晰和語(yǔ)義分割準(zhǔn)確這一相矛盾的需求進(jìn)行調(diào)整，滿足不同語(yǔ)義分割任務(wù)。

本發(fā)明為解決上述技術(shù)問(wèn)題，提出了一種基于混沌反向傳播圖神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割方法，包含以下步驟：

步驟S1：將輸入圖像預(yù)分割成若干區(qū)域，并轉(zhuǎn)換成區(qū)域鄰接圖，區(qū)域作為圖的節(jié)點(diǎn)，對(duì)應(yīng)的節(jié)點(diǎn)值為該區(qū)域所有像素點(diǎn)的平均值，并且如果兩個(gè)區(qū)域有像素點(diǎn)相鄰，這兩個(gè)區(qū)域存在連邊，且邊的權(quán)重為對(duì)應(yīng)的兩個(gè)節(jié)點(diǎn)值的歐式距離；

步驟S2：輸入圖作為最大割問(wèn)題的輸入圖，包括區(qū)域鄰接圖節(jié)點(diǎn)、連接矩陣和邊的權(quán)重，并構(gòu)建對(duì)應(yīng)的編碼矩陣Q，Q_ij的值為節(jié)點(diǎn)i到節(jié)點(diǎn)j的權(quán)重，Q_ii的值為和節(jié)點(diǎn)i連接的邊的權(quán)重之和的負(fù)數(shù)，得到優(yōu)化的目標(biāo)函數(shù)為哈密頓量