[發(fā)明專利]帶有邊緣約束的層次化人體解析語(yǔ)義分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110750094.4
• 申請(qǐng)日: 2021-07-02
• 公開(kāi)（公告）號(hào): CN113379771A
• 公開(kāi)（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 韓紅;李康;弋寧寧;魯飛鴻;趙健
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華;王喜媛

1.一種帶有邊緣約束的層次化人體解析語(yǔ)義分割方法，其特征在于，包括：

S1)數(shù)據(jù)的采集與標(biāo)注：

采集含有人體的若干自然圖片，并將每張含有人體的自然圖片按照人體組分對(duì)應(yīng)的語(yǔ)義信息進(jìn)行像素級(jí)的標(biāo)注；

將自然圖片與其對(duì)應(yīng)像素標(biāo)注圖片組成圖片對(duì)，按照1:1的近似比隨機(jī)將所有圖片對(duì)劃分為訓(xùn)練集和測(cè)試集；

S2)對(duì)訓(xùn)練數(shù)據(jù)做預(yù)處理：

對(duì)訓(xùn)練集的所有圖片對(duì)依次進(jìn)行隨機(jī)剪裁、隨機(jī)尺度縮放和隨機(jī)翻轉(zhuǎn)的增強(qiáng)；

根據(jù)邊緣檢測(cè)算子提取訓(xùn)練集真值數(shù)據(jù)的語(yǔ)義邊緣，并根據(jù)人體分層情況，合并訓(xùn)練集的真值數(shù)據(jù)不同層次的語(yǔ)義標(biāo)簽；

S3)構(gòu)建帶有邊緣約束的層次化人體解析語(yǔ)義分割模型，其包括骨干網(wǎng)絡(luò)、邊緣檢測(cè)模塊、層次空間金字塔模塊和解碼模塊，該骨干網(wǎng)絡(luò)的輸出分別與邊緣檢測(cè)模塊和層次空間金字塔模塊的輸入端連接，邊緣檢測(cè)模塊與層次空間金字塔模塊的輸出與解碼模塊連接；

S4)設(shè)置模型超參數(shù)和訓(xùn)練規(guī)則，包括設(shè)置梯度下降方法、學(xué)習(xí)率、最大訓(xùn)練代數(shù)、損失函數(shù)，并將經(jīng)過(guò)S2)預(yù)處理后的訓(xùn)練集批量輸入到帶有邊緣約束的層次化人體解析語(yǔ)義分割模型中，進(jìn)行帶有邊緣約束的層次化人體解析語(yǔ)義分割模型訓(xùn)練；

S5)將S4)訓(xùn)練后的模型參數(shù)保存，獲得含參數(shù)的帶有邊緣約束的層次化人體解析語(yǔ)義分模型，將測(cè)試集輸入帶參數(shù)的人體解析語(yǔ)義分割模型中進(jìn)行模型評(píng)價(jià)，得到其平均交并比指標(biāo)；

S6)根據(jù)評(píng)價(jià)的平均交并比指標(biāo)評(píng)價(jià)模型性能是否達(dá)到預(yù)期效果：

若達(dá)到，則執(zhí)行S7)，

否則，返回S4)調(diào)整網(wǎng)絡(luò)超參數(shù)和訓(xùn)練規(guī)則，重新訓(xùn)練帶有邊緣約束的層次化人體解析語(yǔ)義分割模型；

S7)將包含人體的自然圖像輸入到S4)含參數(shù)的帶有邊緣約束的層次化人體解析語(yǔ)義分割模型中，得到邊緣約束的人體解析圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，S2)中根據(jù)邊緣檢測(cè)算子提取訓(xùn)練集真值數(shù)據(jù)的語(yǔ)義邊緣，是利用兩個(gè)卷積核在真值圖像上遍歷整幅真值圖像，即按照垂直坐標(biāo)依次進(jìn)行水平滑動(dòng)，分別檢測(cè)圖像的水平梯度響應(yīng)和垂直梯度響應(yīng)，如果某像素在這兩個(gè)卷積核下的響應(yīng)值大于預(yù)先設(shè)定的閾值，則將其視為真值圖像的邊緣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，S2)中根據(jù)人體分層情況，合并訓(xùn)練集的真值數(shù)據(jù)不同層次的語(yǔ)義標(biāo)簽，先是將人體解析標(biāo)簽由精細(xì)到粗糙劃分為三層，再進(jìn)行標(biāo)簽合并，其中：

所述三層結(jié)構(gòu)如下：

第一層為最細(xì)節(jié)人體解析層，表達(dá)了人體標(biāo)簽最多的層次，標(biāo)簽數(shù)量與S1)中標(biāo)注的人體組分?jǐn)?shù)量保持一致，劃分得到最細(xì)節(jié)真值圖像

第二層為上下半身人體解析層，其利用人體上下半身的語(yǔ)義信息對(duì)人體標(biāo)簽上下半身進(jìn)行區(qū)分，其標(biāo)簽類別為上半身、下半身和背景；

第三層為全身人體解析層，其為表達(dá)人體標(biāo)簽最少的層次，標(biāo)簽類別為全身人像和背景，

所述標(biāo)簽合并如下：

由第一層類別標(biāo)簽將同屬于上半身的人體標(biāo)簽合并成一類，將同屬于下半身的人體標(biāo)簽合并成為另一類，將背景被分為單獨(dú)一類，劃分得到上下半身真值圖像

由第二層類別標(biāo)簽進(jìn)行合并，即上半身和下半身合并成一類，背景仍被分成單獨(dú)的一類，劃分得到全身真值圖像

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，S3)中的骨干網(wǎng)絡(luò)，包括兩個(gè)級(jí)聯(lián)的殘差神經(jīng)網(wǎng)絡(luò)模塊和空洞空間卷積池化模塊ASPP，其中：

所述殘差神經(jīng)網(wǎng)絡(luò)模塊作為通用的編碼器，用于將輸入的人體圖像特征進(jìn)行編碼，得到高維度的人體特征信息，該模塊包括依次連接7×7卷積模塊C和四個(gè)特征編碼模塊：R1、R2、R3、R4，這四個(gè)特征編碼模塊包含不同數(shù)目的殘差塊，以實(shí)現(xiàn)輸入特征由淺層到深層、由高分辨率特征向低分辨率特征的轉(zhuǎn)換，并通過(guò)第四特征編碼模塊R4與ASPP模塊連接

所述空洞空間卷積池化模塊ASPP，用于對(duì)全局上下文的粗提取，其包含一個(gè)1×1卷積模塊和三個(gè)采樣率分別為6,12,18的3×3空洞卷積模塊。