[發(fā)明專利]一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的前景對(duì)象圖像分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010044615.X
• 申請(qǐng)日: 2020-01-16
• 公開（公告）號(hào): CN111275732B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 楊戈;吳彬
• 申請(qǐng)（專利權(quán)）人: 北京師范大學(xué)珠海分校
• 主分類號(hào): G06T7/194
• 分類號(hào): G06T7/194;G06N3/0464;G06N3/09
• 代理公司: 珠海飛拓知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44650
• 代理人: 劉利芬

本發(fā)明公開了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的前景對(duì)象圖像分割方法，將分割任務(wù)設(shè)置為密集的標(biāo)記問題，并提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的像素級(jí)圖像分割模型FOSeg模型。FOSeg模型是一個(gè)可以預(yù)測(cè)每個(gè)像素是前景對(duì)象可能性的支持端到端訓(xùn)練的前景對(duì)象圖像分割模型。FOSeg模型分割流程圖如圖1所示：首先輸入原始圖像，經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)的卷積、匯合、線性整流等操作，然后輸入到分流聚合模塊從而得出特征映射得分圖，隨后經(jīng)過雙線性插值算法的上采樣操作得到粗糙的分割圖，最后將得到的粗糙分割圖送入條件隨機(jī)場(chǎng)模型中進(jìn)一步細(xì)化分割結(jié)果，從而得出精細(xì)的分割圖像。

【技術(shù)領(lǐng)域】

本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域技術(shù)領(lǐng)域，具體涉及一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的前景對(duì)象圖像分割方法。

【背景技術(shù)】

根據(jù)分割是否依賴類別，可以將前景對(duì)象分割模型分為兩類。(1)不依賴類別的分割：無論圖像中的對(duì)象有多少類，只提取前景對(duì)象掩碼的分割模型；(2)特定類別的分割：從分類標(biāo)記的數(shù)據(jù)中學(xué)習(xí),并尋求分割新圖像中的特定類別的分割模型。

(1)不依賴類別的分割

根據(jù)分割策略與目的的不同，將不依賴類別的分割分為以下三種：

交互式圖像分割模型：如GrabCut[10]模型就是讓人用邊框或涂鴉來指導(dǎo)算法。當(dāng)需要進(jìn)行高精度的分割時(shí)，一些來自人類的指導(dǎo)是值得的，這類模型是較適合的。雖然減少人工的參與，但不能全自動(dòng)的完成分割。

對(duì)象建議模型：該類模型以邊界框或區(qū)域的形式，生成上千個(gè)前景對(duì)象建議。產(chǎn)生上千個(gè)假設(shè)可以確保高的召回率，但往往會(huì)導(dǎo)致低精度的結(jié)果。雖然其對(duì)目標(biāo)檢測(cè)有效，但在沒有特定信息的情況下，很難自動(dòng)地從這個(gè)大的假設(shè)集合中過濾出準(zhǔn)確的建議，完成分割任務(wù)。

顯著性模型：該類模型的目標(biāo)是識(shí)別可能吸引人類注意力的區(qū)域。有些模型產(chǎn)生高度局部化的區(qū)域，而另一些模型則分割完整的對(duì)象。顯著性模型關(guān)注的是“突出”的對(duì)象，不能分割所有前景對(duì)象。

(2)特定類別的分割

根據(jù)訓(xùn)練數(shù)據(jù)集的不同使用策略將特定類別的分割模型分為以下三種：

語義分割模型：語義分割是指對(duì)對(duì)象進(jìn)行聯(lián)合識(shí)別和分割的任務(wù)，將每個(gè)像素劃分為k個(gè)固定類別之一。大多數(shù)的深層語義分割模型包括完全卷積網(wǎng)絡(luò)，它應(yīng)用連續(xù)的卷積層和池化層，然后在末端進(jìn)行上行采樣或反卷積操作，從而產(chǎn)生像素級(jí)的分割映射圖。但是，這些模型是針對(duì)固定數(shù)量的類別進(jìn)行訓(xùn)練的，泛化能力較弱。

弱監(jiān)督的聯(lián)合分割模型：弱監(jiān)督的聯(lián)合分割模型比語義分割模型使用更弱的監(jiān)督，其思想是利用集合內(nèi)的相似性來發(fā)現(xiàn)共同的前景。給定一批已知的包含相同對(duì)象類別的圖像,輸出是特定類別的像素級(jí)掩碼或邊框。雖然聯(lián)合分割是有效的，但它的性能受到集合內(nèi)共享結(jié)構(gòu)的限制，類內(nèi)的特征和形狀的變化構(gòu)成了一個(gè)重大的挑戰(zhàn)。此外，客觀世界的復(fù)雜性使得圖像數(shù)據(jù)易于受到不同類型視覺噪聲的干擾進(jìn)而影響分割模型的表現(xiàn)。這種復(fù)雜性主要來源于以下兩個(gè)方面：物體本身的視覺變化，主要包括姿態(tài)、形變、朝向、尺度、外觀以及遮擋等因素；客觀世界的隨機(jī)變化，如光照、噪聲以及成像技術(shù)等。總之，以上這些因素大大限制了弱監(jiān)督的聯(lián)合分割模型的分割表現(xiàn)。

基于傳播的模型：基于傳播的模型將信息從帶有人類標(biāo)記的前景掩碼的樣本中傳遞。它們通常在可能的前景區(qū)域和樣本之間進(jìn)行匹配。缺點(diǎn)是需要在測(cè)試時(shí)存儲(chǔ)大量的范例數(shù)據(jù)，并為每個(gè)測(cè)試映像執(zhí)行昂貴且可能有噪聲的匹配過程。

基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep?Convolutional?Neural?Networks,DCNNs)的圖像分割模型都面臨著以下兩個(gè)挑戰(zhàn):(1)輸出特征分辨率降低，(2)由于DCNNs內(nèi)在不變性而下降的定位精度。