[發(fā)明專(zhuān)利]綜合區(qū)域連通和共生知識(shí)約束的遙感影像深度語(yǔ)義分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110011549.0
• 申請(qǐng)日: 2021-01-06
• 公開(kāi)（公告）號(hào): CN112767413B
• 公開(kāi)（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 李彥勝;歐陽(yáng)松;張永軍;史特
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢大學(xué)
• 主分類(lèi)號(hào): G06T7/11
• 分類(lèi)號(hào): G06T7/11;G06K9/62;G06T7/187;G06T5/00;G06V10/764
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種綜合區(qū)域連通和共生知識(shí)約束的遙感影像深度語(yǔ)義分割方法，其特征在于，包括以下步驟：

步驟1，遙感知識(shí)圖譜構(gòu)建；所述遙感知識(shí)圖譜作為語(yǔ)義網(wǎng)絡(luò)，用于描述地物目標(biāo)的屬性以及目標(biāo)之間的關(guān)系，其中，遙感本體是遙感知識(shí)圖譜的骨架，標(biāo)簽影像中的地物目標(biāo)作為本體的實(shí)例化對(duì)象組成了遙感知識(shí)圖譜的基本單元，所述遙感本體作為地物目標(biāo)的本體表達(dá)，用于定義地物類(lèi)及其屬性關(guān)系；

步驟2，空間共生知識(shí)提取；空間共生關(guān)系是指不同目標(biāo)在圖像局部或全局區(qū)域內(nèi)同時(shí)出現(xiàn)的情況，以空間相鄰作為空間共生關(guān)系，空間共生知識(shí)由空間關(guān)系的統(tǒng)計(jì)概率表示，具體做法是在遙感知識(shí)圖譜中推理得出鄰域內(nèi)不同類(lèi)別目標(biāo)出現(xiàn)的條件概率；

步驟3，目標(biāo)單元構(gòu)建；所述目標(biāo)單元是對(duì)圖像中物體的表達(dá)，作為基本的處理單元，從訓(xùn)練樣本的每幅標(biāo)簽圖像中按類(lèi)別提取連通域，將獲取的連通域視為目標(biāo)單元，并賦予每個(gè)單元類(lèi)別，從而離線地完成目標(biāo)單元構(gòu)建；

步驟4，基于區(qū)域連通約束的損失設(shè)計(jì)；圖像原始數(shù)據(jù)輸入深度語(yǔ)義分割網(wǎng)絡(luò)，輸出分類(lèi)置信圖，在置信圖上按通道取最大值對(duì)應(yīng)的序號(hào)即得到分割結(jié)果；為構(gòu)建目標(biāo)整體性約束，基于區(qū)域連通約束的損失以步驟3中目標(biāo)為單元進(jìn)行損失計(jì)算，首先在分類(lèi)置信圖上對(duì)每個(gè)目標(biāo)單元區(qū)域內(nèi)所有像素的分類(lèi)置信度向量按通道計(jì)算均值向量，這個(gè)向量作為該目標(biāo)單元的分類(lèi)置信度向量；然后根據(jù)目標(biāo)單元的分類(lèi)置信度向量和真實(shí)類(lèi)別計(jì)算損失；最后對(duì)所有目標(biāo)單元的損失求均值，該均值即為基于區(qū)域連通約束的損失；

步驟5，基于空間共生知識(shí)約束的損失構(gòu)建；與基于區(qū)域連通約束的損失構(gòu)建一樣，基于空間共生知識(shí)約束的損失以步驟3中目標(biāo)為單元進(jìn)行損失計(jì)算；首先確定每個(gè)目標(biāo)單元的分類(lèi)類(lèi)別，取步驟4中每個(gè)目標(biāo)單元的分類(lèi)置信度向量的最大值及其對(duì)應(yīng)的序號(hào)分別作為該目標(biāo)單元的分類(lèi)置信度和分類(lèi)類(lèi)別；其次給對(duì)每個(gè)目標(biāo)單元打分，取中心目標(biāo)單元鄰域內(nèi)的目標(biāo)單元對(duì)中心目標(biāo)單元打分，中心目標(biāo)單元的分值向量由鄰域內(nèi)所有目標(biāo)單元的分類(lèi)置信度和步驟2中的共生條件概率按類(lèi)別加權(quán)求和而來(lái)，該向量代表中心目標(biāo)單元在當(dāng)前鄰域空間分布下所屬各類(lèi)的分類(lèi)置信度；最后根據(jù)目標(biāo)單元的基于空間分布的分類(lèi)置信度向量和真實(shí)類(lèi)別計(jì)算損失，取所有目標(biāo)單元損失項(xiàng)的均值作為基于空間共生知識(shí)約束的損失；

步驟6，深度語(yǔ)義分割網(wǎng)絡(luò)訓(xùn)練；圖像原始數(shù)據(jù)輸入深度語(yǔ)義分割網(wǎng)絡(luò)，輸出分類(lèi)置信度圖，根據(jù)分類(lèi)置信度圖及其標(biāo)簽影像計(jì)算總體損失，通過(guò)后向傳播算法降低總體損失，從而優(yōu)化深度語(yǔ)義分割網(wǎng)絡(luò)；其中總體損失包括基于像素計(jì)算的常規(guī)損失項(xiàng)、基于區(qū)域連通約束的損失項(xiàng)和基于空間共生知識(shí)約束的損失項(xiàng)；

步驟7，圖像語(yǔ)義分割；利用訓(xùn)練好的深度語(yǔ)義分割網(wǎng)絡(luò)對(duì)待分割的原始圖像進(jìn)行分割，即得到語(yǔ)義分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種綜合區(qū)域連通和共生知識(shí)約束的遙感影像深度語(yǔ)義分割方法，其特征在于：步驟1遙感本體的具體內(nèi)容包括，

所述遙感本體作為地物目標(biāo)的本體表達(dá)，用于定義地物類(lèi)及其屬性關(guān)系；本體地物類(lèi)分為根類(lèi)、一級(jí)子類(lèi)和二級(jí)子類(lèi)；地物對(duì)象類(lèi)為根類(lèi)，其余子類(lèi)從中衍生；一級(jí)子類(lèi)包括水體類(lèi)、植被類(lèi)、地面類(lèi)、農(nóng)業(yè)用地類(lèi)、城鎮(zhèn)用地類(lèi)、交通工具類(lèi)和其他類(lèi)；二級(jí)子類(lèi)在一級(jí)子類(lèi)的基礎(chǔ)上細(xì)分為湖泊類(lèi)、河流類(lèi)、海洋類(lèi)、草地類(lèi)、樹(shù)木類(lèi)、裸地類(lèi)、荒地類(lèi)、耕地類(lèi)、牧場(chǎng)類(lèi)、建筑類(lèi)、道路類(lèi)、車(chē)輛類(lèi)、船只類(lèi)和飛機(jī)類(lèi)；遙感本體的屬性關(guān)系包括從屬層級(jí)關(guān)系，方位、相鄰、環(huán)繞空間關(guān)系屬性以及多數(shù)類(lèi)統(tǒng)計(jì)屬性；以原始影像上超像素分割塊對(duì)應(yīng)于標(biāo)簽影像的區(qū)域作為本體類(lèi)的實(shí)體，利用超像素實(shí)例化本體類(lèi)，超像素中具有多數(shù)像素的地物類(lèi)別作為對(duì)應(yīng)實(shí)體的本體類(lèi)類(lèi)別，即實(shí)體的多數(shù)類(lèi)屬性；超像素的空間關(guān)系屬性和統(tǒng)計(jì)屬性作為實(shí)體的屬性。