[發(fā)明專利]一種難樣本實(shí)例分割方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010480111.2
• 申請(qǐng)日: 2020-05-30
• 公開（公告）號(hào): CN111627033B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 薛均曉;程君進(jìn);徐明亮;呂培
• 申請(qǐng)（專利權(quán)）人: 鄭州大學(xué)
• 主分類號(hào): G06V20/70
• 分類號(hào): G06V20/70;G06V10/26;G06V10/762;G06V10/764;G06V10/82;G06V10/774
• 代理公司: 廣東君龍律師事務(wù)所 44470
• 代理人: 金永剛

本發(fā)明公開了一種難樣本實(shí)例分割方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括：圖像的預(yù)處理，用于使圖像的前景和背景易于區(qū)分；圖像的難樣本分割，用于區(qū)分圖像中的正樣本和負(fù)樣本；圖像的卷積訓(xùn)練，用于圖像中難樣本的實(shí)例分割。本發(fā)明對(duì)原始圖像進(jìn)行預(yù)處理，使圖像的前景和背景更容易區(qū)分，邊界更清晰。對(duì)預(yù)處理后的圖像進(jìn)行難樣本分割，提升卷積訓(xùn)練時(shí)的識(shí)別精度。進(jìn)行卷積訓(xùn)練，能夠契合大規(guī)模的訓(xùn)練樣本，進(jìn)行自主學(xué)習(xí)，大量的訓(xùn)練樣本有利于激活深度網(wǎng)絡(luò)神經(jīng)元，記憶式地存儲(chǔ)解析目標(biāo)物體不同顏色、形態(tài)、環(huán)境下的狀態(tài)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺與圖形圖像處理領(lǐng)域，尤其涉及的是一種難樣本實(shí)例分割方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

對(duì)圖像數(shù)據(jù)集進(jìn)行精確的實(shí)例分割，在無人駕駛、機(jī)器人、虛擬現(xiàn)實(shí)等人工智能領(lǐng)域有著至關(guān)重要的作用。

在目前的實(shí)例分割方法中，可以將其分為兩類：基于傳統(tǒng)方法的實(shí)例分割算法以及基于深度學(xué)習(xí)的實(shí)例分割算法。

基于傳統(tǒng)方法實(shí)現(xiàn)實(shí)例分割：傳統(tǒng)方法有基于區(qū)域的分割方法，如將圖像分割成小的具有同性質(zhì)的圖像塊和使用多個(gè)顏色空間對(duì)圖像進(jìn)行分割的方法。還有馬爾科夫隨機(jī)場(MRF)模型，利用MFR生成的間接估計(jì)的隨機(jī)過程對(duì)圖像進(jìn)行分割的方法，條件隨機(jī)場(CRF)模型方法也經(jīng)常作為基于深度學(xué)習(xí)的語義分割算法的后處理模塊，對(duì)圖像進(jìn)行細(xì)化分割。但是傳統(tǒng)的實(shí)例分割方法分割精度較低。

基于深度學(xué)習(xí)的實(shí)例分割方法，mask rcnn是在faster rcnn的基礎(chǔ)上將RoIPooling層替換成了RoI Align層，并且添加了一個(gè)mask分支，實(shí)現(xiàn)了從目標(biāo)檢測(cè)，目標(biāo)分類到實(shí)現(xiàn)實(shí)例分割技術(shù)的進(jìn)化，ROI Align技術(shù)并沒有使用量化操作，通過使用雙線性插值方法可以得到更精確的特征圖信息，減少了在獲取特征圖時(shí)進(jìn)行的量化操作造成的誤差。簡單的ROI Align計(jì)算，只是將計(jì)算的像素點(diǎn)和其四周的卷積核大小的矩陣范圍內(nèi)的其它像素點(diǎn)進(jìn)行計(jì)算，于是不管網(wǎng)絡(luò)有多深，感受野始終是矩形的，然而現(xiàn)實(shí)中很多物體的形狀都是可以變化的，簡單的ROI Align計(jì)算的適應(yīng)性較低。

發(fā)明內(nèi)容

本發(fā)明主要解決的技術(shù)問題是針對(duì)分割精度低和適應(yīng)性較低的問題，提供一種分割精度高、適應(yīng)范圍廣的難樣本實(shí)例分割方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是：一種難樣本實(shí)例分割方法，包括：

圖像的預(yù)處理，用于使圖像的前景和背景易于區(qū)分；

圖像的難樣本分割，用于區(qū)分圖像中的正樣本和負(fù)樣本；

圖像的卷積訓(xùn)練，用于圖像中難樣本的實(shí)例分割。

在本發(fā)明難樣本實(shí)例分割方法另一實(shí)施例中，利用銳化和聚類的方法對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理。

在本發(fā)明難樣本實(shí)例分割方法另一實(shí)施例中，銳化為拉普拉斯銳化，聚類為K均值聚類。

在本發(fā)明難樣本實(shí)例分割方法另一實(shí)施例中，圖像的難樣本分割包括有：

圖像的分類，使用分類器對(duì)預(yù)處理后的圖像進(jìn)行分類；

圖像IOU值的計(jì)算，計(jì)算分類后圖像的IOU值，并設(shè)定IOU閾值；

對(duì)比IOU值與設(shè)定的IOU閾值，將IOU值大于IOU閾值的圖像輸出。

在本發(fā)明難樣本實(shí)例分割方法另一實(shí)施例中，IOU閾值為0.5。

在本發(fā)明難樣本實(shí)例分割方法另一實(shí)施例中，對(duì)比IOU值與設(shè)定的IOU閾值，將IOU值小于IOU閾值的圖像重新輸入到分類器中進(jìn)行分類，重新計(jì)算IOU值并對(duì)比IOU閾值，將IOU值大于IOU閾值的圖像輸出，將IOU值小于IOU閾值的圖像重復(fù)進(jìn)行分類、計(jì)算IOU值并對(duì)比IOU閾值。