[發(fā)明專利]一種基于數(shù)據(jù)集分布和上下文信息的語義分割方法

在審

• 申請?zhí)枺?/td>: 202210066556.5
• 申請日: 2022-01-20
• 公開（公告）號: CN114549832A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 孫力;史正一
• 申請（專利權(quán)）人: 華東師范大學(xué)
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海藍(lán)迪專利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發(fā)明公開了一種基于數(shù)據(jù)集分布上下文信息的語義分割方法。該方法首先將圖像進(jìn)行預(yù)處理，并使用神經(jīng)網(wǎng)絡(luò)得到其深層特征，利用線性層對特征進(jìn)行解碼得到初步的預(yù)測結(jié)果；之后，根據(jù)得到的初步預(yù)測結(jié)果和全局的特征統(tǒng)計信息，形成新分類器并指導(dǎo)后續(xù)的特征提??；與此同時，根據(jù)數(shù)據(jù)集中不同樣本的分布情況，累積了不同類別的類中心，并將其作用在現(xiàn)有的注意力機(jī)制上?；谝陨喜襟E，搭建了基于數(shù)據(jù)及分布的語義分割神經(jīng)網(wǎng)絡(luò)。相對于現(xiàn)有技術(shù)，本發(fā)明具有方法簡便，計算復(fù)雜度低，分類精度高等特點(diǎn)，有效地緩解了語義分割任務(wù)中小類別樣本預(yù)測準(zhǔn)確度低的問題，可以在自動駕駛、智能城市及醫(yī)學(xué)分割等多個場景進(jìn)行應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等領(lǐng)域，提出了一種基于數(shù)據(jù)集分布和上下文信息的語義分割方法。

背景技術(shù)

語義分割(Semantic Segmentation)：是計算機(jī)視覺的基本任務(wù)之一，在自動駕駛、智能交通、醫(yī)療診斷等多個領(lǐng)域有廣泛的應(yīng)用。其目標(biāo)是讓計算機(jī)理解當(dāng)前圖片的語義環(huán)境，從而依據(jù)分類信息對整個圖像區(qū)域進(jìn)行劃分。區(qū)別于一般的圖像分類任務(wù)，語義分割要求輸出和原始圖像大小相匹配的預(yù)測結(jié)果，是一個像素到像素的圖像分類任務(wù)。因此，在解析圖像時，需要綜合的處理不同像素和不同類別之間的依賴關(guān)系。

現(xiàn)有語義分割的相關(guān)研究普遍認(rèn)為，網(wǎng)絡(luò)應(yīng)該在編碼器和連接器上盡可能的捕獲圖像的長程(Long-Range)信息，其中包括了像素點(diǎn)的空間結(jié)構(gòu)特征和類別間的互相依賴關(guān)系。其中一個重要的方法是計算特征之間的協(xié)方差矩陣作為權(quán)重，之后使用矩陣相乘的方式將權(quán)重分配給不同位置的特征，這一方式又被稱作“注意力機(jī)制”；語義分割任務(wù)中，對注意力機(jī)制的研究目前集中在三個方向：

1、空間維度的注意力機(jī)制。在使用矩陣乘法計算協(xié)方差陣時，這種方法會將通道信息消掉，從而形成HW*HW的注意力矩陣，用來描述不同像素點(diǎn)空間結(jié)構(gòu)的相關(guān)性。由于語義分割任務(wù)的輸入圖像可能是不同尺寸的，因此這種方式往往帶來較大的計算量。一些方法使用多次單一維度的迭代來實現(xiàn)高維矩陣的擬合，另一些則是計算局部的注意力來代替全局注意力。

2、通道維度的注意力機(jī)制。在使用矩陣乘法計算協(xié)方差陣時，這種方法會將空間信息進(jìn)行加權(quán)和消去，從而形成Channels*Channels的注意力矩陣，用來描述不同類別和通道的依賴關(guān)系。這些方法往往會先生成一個粗略的分割結(jié)果，之后用他們的概率分布加權(quán)特征通道的權(quán)重。

3、以上兩者融合的可能性。即研究二者信息的耦合能力，在同一個模型中，如何同時高效的捕獲空間信息關(guān)聯(lián)性和通道信息依賴性。

然而，上述方法往往只關(guān)注于當(dāng)前輸入圖片的信息，而忽略了整個數(shù)據(jù)集的分布一致性；在統(tǒng)計長程信息的過程中，又往往產(chǎn)生較高的計算復(fù)雜度，從而導(dǎo)致推理時間過長；同時，過分關(guān)注于單張圖片的信息容易造成算法的過擬合，導(dǎo)致在驗證和測試階段容易產(chǎn)生不利的影響。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種語義分割方法，其主要流程為：利用骨干網(wǎng)絡(luò)對圖片進(jìn)行初步的特征提取，使用淺層網(wǎng)絡(luò)的輸出對圖像進(jìn)行初步預(yù)測，計算初步預(yù)測結(jié)果和深層特征之間的協(xié)方差矩陣；遍歷所有數(shù)據(jù)，使用滑動平均的方法統(tǒng)計所有圖像的協(xié)方差陣，得到整個數(shù)據(jù)集的特征分布；在推理階段，結(jié)合當(dāng)前圖像信息和累積得到的數(shù)據(jù)集分布信息，在通道維度使用交叉注意力機(jī)制算法，對網(wǎng)絡(luò)深層的特征進(jìn)行處理，之后利用全卷積分類器對圖像進(jìn)行逐像素的預(yù)測。相對于現(xiàn)有技術(shù)，本發(fā)明具有方法簡便，計算復(fù)雜度低，分類精度高等特點(diǎn)，有效地緩解了語義分割任務(wù)中小類別樣本預(yù)測準(zhǔn)確度低的問題。

實現(xiàn)本發(fā)明目的的具體技術(shù)方案是：

一種基于數(shù)據(jù)集分布和上下文信息的語義分割方法，包括以下具體步驟：

步驟A：對數(shù)據(jù)集圖片進(jìn)行預(yù)處理，根據(jù)數(shù)據(jù)集的統(tǒng)計信息完成分類器的設(shè)置；

步驟B：搭建神經(jīng)網(wǎng)絡(luò)模型，設(shè)計損失函數(shù)，調(diào)整學(xué)習(xí)率、優(yōu)化器等參數(shù)，在數(shù)據(jù)集上對網(wǎng)絡(luò)進(jìn)行訓(xùn)練；