[發(fā)明專利]超像素采樣網(wǎng)絡(luò)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910333965.5
• 申請(qǐng)日: 2019-04-24
• 公開（公告）號(hào): CN110428422A
• 公開（公告）日: 2019-11-08
• 發(fā)明（設(shè)計(jì)）人: V·揚(yáng)帕尼;孫德慶;劉洺堉;J·考茨
• 申請(qǐng)（專利權(quán)）人: 輝達(dá)公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/187;G06K9/62;G06N3/04
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉;卜璐璐

本發(fā)明公開了一種超像素采樣網(wǎng)絡(luò)。超像素采樣網(wǎng)絡(luò)利用耦合到可微分簡單線性迭代聚類組件的神經(jīng)網(wǎng)絡(luò)從由神經(jīng)網(wǎng)絡(luò)輸出的一組像素特征來確定像素?超像素關(guān)聯(lián)。超像素采樣網(wǎng)絡(luò)通過多次迭代計(jì)算更新的超像素中心和最終像素?超像素關(guān)聯(lián)。

相關(guān)申請(qǐng)的交叉引用

根據(jù)美國法典第35篇第119(e)條，本申請(qǐng)要求于2018年5月1日提交的序列號(hào)為62/665,325的美國申請(qǐng)的優(yōu)先權(quán)和權(quán)益，其內(nèi)容通過引用整體并入本文。

背景技術(shù)

超像素是通過基于低級(jí)圖像特性對(duì)圖像像素進(jìn)行分組而形成的圖像的過分割。超像素提供圖像內(nèi)容在視覺上有意義的細(xì)分，從而減少用于后續(xù)圖像處理的圖像基元的數(shù)量。由于其代表性和計(jì)算效率，超像素已成為已建立的低/中級(jí)圖像表示，并廣泛用于計(jì)算機(jī)視覺算法，例如物體檢測(cè)、語義分割、顯著性估計(jì)、光流估計(jì)、深度估計(jì)、跟蹤等。超像素尤其廣泛用于傳統(tǒng)的能量最小化框架中，其中較少數(shù)量的圖像基元降低了優(yōu)化復(fù)雜性。

已經(jīng)針對(duì)廣泛的計(jì)算機(jī)視覺問題采用了深度學(xué)習(xí)技術(shù)。除少數(shù)方法外，超像素幾乎不與現(xiàn)代深度網(wǎng)絡(luò)結(jié)合使用。這有兩個(gè)主要原因：1)構(gòu)成了大多數(shù)深度架構(gòu)的基礎(chǔ)的標(biāo)準(zhǔn)卷積運(yùn)算，通常在規(guī)則網(wǎng)格點(diǎn)陣(lattice)上定義，并且在不規(guī)則超像素點(diǎn)陣上運(yùn)算時(shí)變得效率低下；2)現(xiàn)有的超像素算法是不可微分的，因此在深度網(wǎng)絡(luò)中利用超像素將不可微分的模塊引入了其他端到端的可訓(xùn)練網(wǎng)絡(luò)架構(gòu)中。

發(fā)明內(nèi)容

本文公開了用于實(shí)現(xiàn)用于超像素分割的深度可微分算法的系統(tǒng)的實(shí)施例。通過放寬簡單線性迭代聚類(SLIC)中存在的最近鄰約束，將SLIC超像素算法轉(zhuǎn)換為可微分算法。這種可微分算法使能端到端訓(xùn)練，并允許利用深度網(wǎng)絡(luò)學(xué)習(xí)超像素，而不是使用傳統(tǒng)的手工制作特征。深度網(wǎng)絡(luò)與可微分SLIC的組合形成了端對(duì)端可訓(xùn)練的超像素算法，即超像素采樣網(wǎng)絡(luò)(SSN)。

與傳統(tǒng)的超像素算法相比，SSN具有以下特性：

1.端到端可訓(xùn)練：SSN是端到端可訓(xùn)練的，并可以高效地集成到其他深度網(wǎng)絡(luò)架構(gòu)中。

2.靈活且任務(wù)特定：SSN使能采用靈活的損失函數(shù)學(xué)習(xí)，從而致使學(xué)習(xí)特定任務(wù)的超像素。

3.最先進(jìn)的性能：SSN在許多類型的數(shù)據(jù)集上可能優(yōu)于傳統(tǒng)的超像素算法，使機(jī)器或計(jì)算機(jī)能夠在確定超像素時(shí)更高效地運(yùn)行。

4.有利的運(yùn)行時(shí)間：與傳統(tǒng)的超像素算法相比，SSN在運(yùn)行時(shí)間方面也具有更高效的運(yùn)行時(shí)間，因此使能在大型數(shù)據(jù)集上進(jìn)行學(xué)習(xí)，并在許多實(shí)際應(yīng)用中實(shí)現(xiàn)更高的效率。

附圖說明

為了容易地識(shí)別對(duì)任何特定元件或動(dòng)作的討論，參考標(biāo)號(hào)中的最顯著的一個(gè)或更多個(gè)數(shù)字指的是首先引入該元件的圖號(hào)。

圖1示出了超像素采樣網(wǎng)絡(luò)100的實(shí)施例。

圖2示出了超像素采樣網(wǎng)絡(luò)200的實(shí)施例。

圖3示出了超像素化方法300的實(shí)施例。

圖4為計(jì)算系統(tǒng)400的框圖，在計(jì)算系統(tǒng)400中可以呈現(xiàn)或?qū)嵭斜疚囊氲募夹g(shù)。

圖5為可以包含本發(fā)明的實(shí)施例的計(jì)算裝置500的示例性框圖。

具體實(shí)施方式

除非另有明確說明或暗示，否則本文使用的術(shù)語應(yīng)當(dāng)提供其在本領(lǐng)域中的常規(guī)含義。

“可微分算法”是指采用全部連續(xù)的且可微分的計(jì)算分量的算法。

“最近鄰約束”指的是屬于同一群集/鄰域的項(xiàng)的距離限制。

“端到端訓(xùn)練”指的是在沒有監(jiān)督(手動(dòng))干預(yù)的情況下從采樣數(shù)據(jù)集學(xué)習(xí)的網(wǎng)絡(luò)。

“深度網(wǎng)絡(luò)”是指具有多于一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)。