[發(fā)明專利]圖像處理的方法及裝置

在審

• 申請?zhí)枺?/td>: 202010631309.6
• 申請日: 2020-07-03
• 公開（公告）號(hào): CN111524150A
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計(jì)）人: 洪煒翔;郭清沛;張偉;陳景東;褚崴
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種圖像處理的方法，用于針對(duì)待處理圖像識(shí)別出全景目標(biāo)，所述方法包括：

利用n層特征金字塔網(wǎng)絡(luò)處理所述待處理圖像，得到n個(gè)分辨率遞減的特征圖，其中，第m個(gè)特征圖為對(duì)特征金字塔網(wǎng)絡(luò)第m層卷積結(jié)果的金字塔池化結(jié)果，第1個(gè)特征圖至第m-1個(gè)特征圖中的第r個(gè)特征圖由第r+1個(gè)特征圖經(jīng)過上采樣的結(jié)果疊加到第r層卷積結(jié)果得到，第m+1個(gè)特征圖至第n個(gè)特征圖的分辨率基于第m個(gè)特征圖遞減，且其中的第p個(gè)特征圖基于對(duì)第p-1個(gè)特征圖的卷積操作結(jié)果確定，r、n、m、p都是正整數(shù)，且n≥p＞m，m-1≥r≥1；

利用所述n個(gè)特征圖中的前s個(gè)特征圖，對(duì)所述待處理圖像進(jìn)行語義分割處理，得到語義分割結(jié)果，s為小于n的正整數(shù)，所述語義分割結(jié)果指示出各個(gè)像素對(duì)應(yīng)的目標(biāo)類別；

利用所述n個(gè)特征圖中的后t個(gè)特征圖，對(duì)所述待處理圖像基于特征點(diǎn)的中心度和邊框回歸進(jìn)行目標(biāo)框標(biāo)注，得到目標(biāo)預(yù)測結(jié)果，t為小于n，大于n-s的正整數(shù)，所述目標(biāo)預(yù)測結(jié)果包括多個(gè)矩形的預(yù)測框，單個(gè)預(yù)測框?qū)?yīng)一個(gè)或多個(gè)特征點(diǎn)，單個(gè)特征點(diǎn)按照相應(yīng)特征圖與所述待處理圖像的縮小倍數(shù)，對(duì)應(yīng)所述待處理圖像上的多個(gè)像素點(diǎn)，中心度用于表示單個(gè)特征點(diǎn)在相應(yīng)預(yù)測框?qū)?yīng)的一個(gè)或多個(gè)特征點(diǎn)構(gòu)成的矩形區(qū)域中位于中心的程度，并通過相應(yīng)特征點(diǎn)到該矩形區(qū)域的一組相對(duì)邊或者一組相對(duì)角頂點(diǎn)的兩個(gè)距離的比值確定，邊框回歸的目標(biāo)是，使得預(yù)測框所包圍的像素，在該預(yù)測框中的中心度更接近相應(yīng)特征點(diǎn)在指向該預(yù)測框的各個(gè)特征點(diǎn)中的中心度；

針對(duì)所述目標(biāo)預(yù)測結(jié)果中的各個(gè)預(yù)測框，分別融合所述語義分割結(jié)果中相應(yīng)的若干像素各自對(duì)應(yīng)的目標(biāo)類別，以得到各個(gè)預(yù)測框?qū)?yīng)的識(shí)別目標(biāo)，從而完成對(duì)所述待處理圖像中的全景目標(biāo)識(shí)別。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述第p個(gè)特征圖通過以下方式確定：

針對(duì)第p-1個(gè)特征圖進(jìn)行卷積操作，得到第p卷積結(jié)果；

對(duì)第p-1個(gè)特征圖進(jìn)行下采樣，得到與所述第p卷積結(jié)果的分辨率一致的下采樣結(jié)果；

將所述下采樣結(jié)果疊加到第p卷積結(jié)果，從而得到所述第p個(gè)特征圖。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述利用所述n個(gè)特征圖中的前s個(gè)特征圖，對(duì)所述待處理圖像進(jìn)行語義分割處理，得到語義分割結(jié)果包括：

針對(duì)前s個(gè)特征圖中的第2至s個(gè)特征圖，分別進(jìn)行卷積操作和上采樣操作，以得到和第1個(gè)特征圖分辨率一致的各個(gè)上采樣結(jié)果；

將各個(gè)上采樣結(jié)果與所述第1個(gè)特征圖相疊，得到疊層特征圖；

對(duì)所述疊層特征圖進(jìn)行卷積操作，使得經(jīng)過卷積操作處理后，各個(gè)像素分別對(duì)應(yīng)有以下屬性：所屬的目標(biāo)類別，以及與所屬目標(biāo)中心的偏差。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述利用所述n個(gè)特征圖中的后t個(gè)特征圖，對(duì)所述待處理圖像基于特征點(diǎn)的中心度和邊框回歸進(jìn)行目標(biāo)框預(yù)測，得到目標(biāo)預(yù)測結(jié)果包括：

針對(duì)單個(gè)特征圖，通過以下方式確定與其對(duì)應(yīng)的單份目標(biāo)框預(yù)測結(jié)果：

通過第一卷積處理，確定各個(gè)特征點(diǎn)分別對(duì)應(yīng)于相應(yīng)預(yù)測框的各個(gè)中心度；

通過第二卷積處理，進(jìn)行邊框回歸。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述預(yù)測框?yàn)榫匦慰颍鼍匦慰虬▋山M相對(duì)邊界，單個(gè)特征點(diǎn)與相應(yīng)預(yù)測框的一組相對(duì)邊界對(duì)應(yīng)有第一距離和第二距離，且第一距離小于第二距離，所述單個(gè)特征點(diǎn)與相應(yīng)預(yù)測框的另一組相對(duì)邊界對(duì)應(yīng)有第三距離和第四距離，且第三距離小于第四距離，所述單個(gè)特征點(diǎn)的中心度與第一距離和第二距離的比值正相關(guān)，且與第三距離和第四距離的比值正相關(guān)。

6.根據(jù)權(quán)利要求4所述的方法，其中，所述目標(biāo)框預(yù)測結(jié)果包括多個(gè)預(yù)測框，所述融合所述語義分割結(jié)果和所述目標(biāo)預(yù)測結(jié)果包括：

按照所述語義分割結(jié)果確定各個(gè)預(yù)測框分別對(duì)應(yīng)的各個(gè)目標(biāo)類別；

對(duì)各個(gè)目標(biāo)類別下的預(yù)測框，分別按照特征點(diǎn)的中心度由大到小的順序，執(zhí)行分割操作。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述分割操作進(jìn)一步包括：

按照相應(yīng)特征點(diǎn)對(duì)應(yīng)的各個(gè)像素的顏色值，將預(yù)測框內(nèi)對(duì)應(yīng)同一個(gè)目標(biāo)類別的像素描繪在與待處理圖像大小一致的畫布上。