[發(fā)明專利]圖像處理的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010631309.6
• 申請(qǐng)日: 2020-07-03
• 公開（公告）號(hào): CN111524150A
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計(jì)）人: 洪煒翔;郭清沛;張偉;陳景東;褚崴
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實(shí)施例提供一種圖像處理的方法，巧妙利用特征金字塔網(wǎng)絡(luò)，根據(jù)高階特征圖和低階特征圖的不同特性，基于金字塔狀排布的特征圖，通過低階特征圖進(jìn)行語義分割，通過高階特征圖進(jìn)行實(shí)例分割，從而，在一個(gè)網(wǎng)絡(luò)中實(shí)現(xiàn)全景分割，實(shí)現(xiàn)了一種輕量級(jí)的、計(jì)算速度較快的全景分割模式。

技術(shù)領(lǐng)域

本說明書一個(gè)或多個(gè)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及利用計(jì)算機(jī)進(jìn)行圖像處理的方法與裝置。

背景技術(shù)

目標(biāo)識(shí)別是通過計(jì)算機(jī)從一幅或多幅圖像，或者是視頻中，識(shí)別出物體的技術(shù)。目標(biāo)識(shí)別可以廣泛應(yīng)用于自動(dòng)駕駛、商品自動(dòng)補(bǔ)貨、車輛損傷識(shí)別、人臉考勤、自助購物等等多種場景。全景目標(biāo)識(shí)別通常是針對(duì)給定的圖像，識(shí)別出圖像上各種類型的目標(biāo)（如人物、花草、白云、樹木、寵物狗、車輛、工具等等）的識(shí)別技術(shù)。這種識(shí)別技術(shù)需要對(duì)圖像上所有像素所屬的目標(biāo)類別、以及在相應(yīng)類別（如車輛）的目標(biāo)中屬于哪一個(gè)目標(biāo)（如圖像中出現(xiàn)的車輛A還是車輛B）。全景分割通常是實(shí)例分割和語義分割的合并。通俗地講，語義分割可以包括對(duì)像素到目標(biāo)類別的分割，實(shí)例分割可以包括對(duì)相應(yīng)類別下具體哪個(gè)目標(biāo)的分割。

常規(guī)技術(shù)中，通常采用一種 “二階段”的網(wǎng)絡(luò)進(jìn)行全景分割。這種技術(shù)中，第一階段往往利用區(qū)域提案網(wǎng)絡(luò)從圖像中獲取物體位置，第二階段可以在區(qū)域提案網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步輸出目標(biāo)類別、目標(biāo)框和目標(biāo)級(jí)別的分割結(jié)果。在此基礎(chǔ)上，本說明書希望能夠在盡可能保持精度的情況下，提供一種更簡潔的全景分割方案，使得計(jì)算速度更快、計(jì)算消耗更小、預(yù)測更順暢。

發(fā)明內(nèi)容

本說明書一個(gè)或多個(gè)實(shí)施例描述了一種圖像處理的方法及裝置，用以解決背景技術(shù)提到的一個(gè)或多個(gè)問題。

根據(jù)第一方面，提供一種圖像處理的方法，用于針對(duì)待處理圖像識(shí)別出全景目標(biāo)，所述方法包括：利用n層特征金字塔網(wǎng)絡(luò)處理所述待處理圖像，得到n個(gè)分辨率遞減的特征圖，其中，第m個(gè)特征圖為對(duì)特征金字塔網(wǎng)絡(luò)第m層卷積結(jié)果的金字塔池化結(jié)果，第1個(gè)特征圖至第m-1個(gè)特征圖中的第r個(gè)特征圖由第r+1個(gè)特征圖經(jīng)過上采樣的結(jié)果疊加到第r層卷積結(jié)果得到，第m+1個(gè)特征圖至第n個(gè)特征圖的分辨率基于第m個(gè)特征圖遞減，且其中的第p個(gè)特征圖基于對(duì)第p-1個(gè)特征圖的卷積操作結(jié)果確定，r、n、m、p都是正整數(shù)，且n≥p＞m，m-1≥r≥1；利用所述n個(gè)特征圖中的前s個(gè)特征圖，對(duì)所述待處理圖像進(jìn)行語義分割處理，得到語義分割結(jié)果，s為小于n的正整數(shù)；利用所述n個(gè)特征圖中的后t個(gè)特征圖，對(duì)所述待處理圖像進(jìn)行目標(biāo)框預(yù)測，得到目標(biāo)預(yù)測結(jié)果，t為小于n的正整數(shù)；融合所述語義分割結(jié)果和所述目標(biāo)預(yù)測結(jié)果，從而完成對(duì)所述待處理圖像中的全景目標(biāo)識(shí)別。

根據(jù)一個(gè)實(shí)施例，所述第p個(gè)特征圖通過以下方式確定：針對(duì)第p-1個(gè)特征圖進(jìn)行卷積操作，得到第p卷積結(jié)果；對(duì)第p-1個(gè)特征圖進(jìn)行下采樣，得到與所述第p卷積結(jié)果的分辨率一致的下采樣結(jié)果；將所述下采樣結(jié)果疊加到第p卷積結(jié)果，從而得到所述第p個(gè)特征圖。

根據(jù)一個(gè)實(shí)施例，所述利用所述n個(gè)特征圖中的前s個(gè)特征圖，對(duì)所述待處理圖像進(jìn)行語義分割處理，得到語義分割結(jié)果包括：針對(duì)前s個(gè)特征圖中的第2至s個(gè)特征圖，分別進(jìn)行卷積操作和上采樣操作，以得到和第1個(gè)特征圖分辨率一致的各個(gè)上采樣結(jié)果；將各個(gè)上采樣結(jié)果與所述第1個(gè)特征圖相疊，得到疊層特征圖；對(duì)所述疊層特征圖進(jìn)行卷積操作，使得經(jīng)過卷積操作處理后，各個(gè)像素分別對(duì)應(yīng)有以下屬性：所屬的目標(biāo)類別，以及與所屬目標(biāo)中心的偏差。

根據(jù)一個(gè)實(shí)施例，所述利用所述n個(gè)特征圖中的后t個(gè)特征圖，對(duì)所述待處理圖像進(jìn)行目標(biāo)框預(yù)測，得到目標(biāo)預(yù)測結(jié)果包括：針對(duì)單個(gè)特征圖，通過以下方式確定與其對(duì)應(yīng)的單份目標(biāo)框預(yù)測結(jié)果：通過第一卷積處理，確定各個(gè)特征點(diǎn)分別對(duì)應(yīng)于相應(yīng)預(yù)測框的各個(gè)中心度；通過第二卷積處理，進(jìn)行邊框回歸。