[發(fā)明專利]圖像處理的方法及裝置

有效

• 申請?zhí)枺?/td>: 202011565601.9
• 申請日: 2020-09-04
• 公開（公告）號: CN112633185B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 勞江微;汪佳;王劍;陳景東;顧欣欣;孫劍哲;甘利民;余泉;孫曉冬
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/70;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06T3/40
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種圖像處理的方法和裝置，將光譜遙感圖像切割為多個待處理圖像進(jìn)行處理，盡可能保留光譜遙感圖像的信息。在處理光譜遙感圖像時，按照不同的分辨率，對光譜遙感圖像在多個尺度(對應(yīng)分辨率)上進(jìn)行縮放，從而得到各個尺度分別的語義分割結(jié)果，以及相應(yīng)的注意力圖。進(jìn)一步地，利用注意力圖，對各個語義分割結(jié)果進(jìn)行融合。該方法引入注意力圖，來描述語義分割的重要度，從而提高目標(biāo)識別結(jié)果的準(zhǔn)確度。

本申請為2020年09月04日提交的、申請?zhí)?02010923823.7的發(fā)明專利申請“圖像處理的方法及裝置”的分案申請。

技術(shù)領(lǐng)域

本說明書一個或多個實施例涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及利用計算機(jī)進(jìn)行圖像處理的方法與裝置。

背景技術(shù)

目標(biāo)識別是通過計算機(jī)從一幅或多幅圖像，或者是視頻中，識別出物體的技術(shù)。目標(biāo)識別可以廣泛應(yīng)用于自動駕駛、商品自動補(bǔ)貨、車輛損傷識別、人臉考勤、自助購物等等多種場景。遙感圖像，是各種傳感器所獲信息的產(chǎn)物，是遙感探測目標(biāo)的信息載體。遙感圖像可以包含很多信息，如水體、植被、土地、山地等等，從遙感圖像上能辨別出較小的物體，如一棵樹、一個人、一條交通標(biāo)志線、一個足球場內(nèi)的標(biāo)志線等。光譜遙感圖像是通過基于光譜的傳感器采集的圖像。然而，遙感圖像通常涵蓋區(qū)域較廣，圖像視野較大，在處理過程中，如何更準(zhǔn)確地識別預(yù)定目標(biāo)，是值得探索的問題。

發(fā)明內(nèi)容

本說明書一個或多個實施例描述了一種圖像處理的方法及裝置，用以解決背景技術(shù)提到的一個或多個問題。

根據(jù)第一方面，提供一種圖像處理的方法，用于從光譜遙感圖像中識別預(yù)定目標(biāo)，包括：獲取待處理的光譜遙感圖像；檢測所述待處理的光譜遙感圖像中是否存在云團(tuán)和/或云影，在存在的情況下進(jìn)行去云團(tuán)處理和/或云影去除處理；將所述待處理的光譜遙感圖像按照預(yù)定尺寸和預(yù)定步長，切割為若干待處理圖像；針對各個待處理圖像的各個圖像通道，分別執(zhí)行標(biāo)準(zhǔn)化操作，針對單個圖像通道，所述標(biāo)準(zhǔn)化操作用于將各個像元對應(yīng)的通道值限定在預(yù)定范圍；基于預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，對所述若干待處理圖像分別進(jìn)行語義分割，得到基于語義分割的各個目標(biāo)識別結(jié)果；將各個目標(biāo)識別結(jié)果按照若干待處理圖像的位置關(guān)系進(jìn)行拼接，得到針對所述待處理的光譜遙感圖像在預(yù)定目標(biāo)上的識別結(jié)果。

第二方面，提供一種圖像處理的方法，其中，待處理圖像基于光譜遙感影像獲取，所述方法用于從所述待處理圖像中識別預(yù)定目標(biāo)，包括：針對所述待處理圖像進(jìn)行分辨率縮放，得到對應(yīng)于第一分辨率的第一圖像；提取所述第一圖像在多個預(yù)定圖像通道上的圖像特征，得到與各個預(yù)定圖像通道一一對應(yīng)的多個特征圖；通過預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，處理所述多個特征圖，得到針對所述第一圖像的第一語義分割結(jié)果和第一注意力圖，其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括基礎(chǔ)卷積模塊，以及并列與基礎(chǔ)卷積模塊連接的語義卷積模塊和注意力卷積模塊，所述第一語義分割結(jié)果為所述語義卷積模塊的輸出結(jié)果，包括分別對應(yīng)于各個目標(biāo)類別的各個概率圖，單個概率圖描述所述第一圖像映射到所述待處理圖像上，各個像元識別為預(yù)定目標(biāo)中的單個目標(biāo)類別的概率，所述第一注意力圖為所述注意力卷積模塊輸出，所述注意力圖指示出針對所述待處理圖像，各個像元各自對應(yīng)的語義分割結(jié)果的重要程度；將所述第一語義分割結(jié)果與經(jīng)由其他圖像得到的其他語義分割結(jié)果，基于所述第一注意力圖以及以其他語義分割結(jié)果對應(yīng)的其他注意力圖進(jìn)行融合，從而確定對所述待處理圖像關(guān)于預(yù)定目標(biāo)的識別結(jié)果，所述其他圖像是針對所述待處理圖像進(jìn)行分辨率縮放，得到的對應(yīng)于其他分辨率的圖像。

在一個實施例中，所述待處理圖像是對所述光譜遙感影像按照預(yù)定尺度進(jìn)行切分得到。

在一個實施例中，對所述光譜遙感影像在按照預(yù)定尺度進(jìn)行切分得到所述待處理圖像之前，還經(jīng)過以下中的至少一項預(yù)處理：去云團(tuán)處理、云影去除。