[發(fā)明專利]基于目標(biāo)檢測信息生成缺陷區(qū)域的語義分割網(wǎng)絡(luò)訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 202110484687.0
• 申請日: 2021-04-30
• 公開（公告）號: CN113160204A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 楊俊杰;鄭軍
• 申請（專利權(quán)）人: 聚時(shí)科技（上海）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 湖北天領(lǐng)艾匹律師事務(wù)所 42252
• 代理人: 胡振宇

本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于目標(biāo)檢測信息生成缺陷區(qū)域的語義分割網(wǎng)絡(luò)訓(xùn)練方法，包括：讀入圖片樣本以及其對應(yīng)的目標(biāo)檢測框和目標(biāo)檢測框?qū)?yīng)的語義類別；將圖片樣本傳入語義分割網(wǎng)絡(luò)，前向推斷計(jì)算獲得Logit；利用目標(biāo)檢測框信息及Logit計(jì)算損失值；使用所得損失值計(jì)算梯度并更新網(wǎng)絡(luò)權(quán)重；判斷該網(wǎng)絡(luò)模型是否達(dá)到訓(xùn)練迭代次數(shù)上限。本發(fā)明的方法利用對缺陷圖片的先驗(yàn)認(rèn)知與目標(biāo)檢測框標(biāo)注的尺度信息引導(dǎo)語義分割網(wǎng)絡(luò)模型在訓(xùn)練時(shí)能較快收斂，且能較為準(zhǔn)確地推斷出缺陷信息；能有效地避開現(xiàn)有像素級別標(biāo)注困難的問題，改用目標(biāo)檢測框標(biāo)注信息實(shí)現(xiàn)語義分割網(wǎng)絡(luò)訓(xùn)練。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于目標(biāo)檢測信息生成缺陷區(qū)域的語義分割網(wǎng)絡(luò)訓(xùn)練方法。

背景技術(shù)

在所有需要對復(fù)雜環(huán)境中，對目標(biāo)信息進(jìn)行提取時(shí)，通常會使用強(qiáng)監(jiān)督深度學(xué)習(xí)方法來訓(xùn)練模型。現(xiàn)有的強(qiáng)監(jiān)督深度學(xué)習(xí)方法在訓(xùn)練過程中，標(biāo)注內(nèi)容必須使用與預(yù)測目標(biāo)相同的標(biāo)注類型。其中，語義分割與實(shí)例分割通常需要使用像素級別的標(biāo)注進(jìn)行訓(xùn)練。人工生成這類標(biāo)注時(shí)，需要花費(fèi)大量的時(shí)間與精力。此外，物體的邊緣通常較為模糊難以界定，因此標(biāo)注的精度一般難以保證。

在缺陷檢測領(lǐng)域，對于實(shí)例分割來說，還存在缺陷標(biāo)注合并與拆分的問題，例如兩條劃痕存在像素相交的時(shí)候，很難界定其為一個(gè)缺陷還是兩個(gè)缺陷。而使用語義分割則可避免該問題的出現(xiàn)。此外，在該領(lǐng)域的標(biāo)注中，缺陷通常會作為檢測的前景目標(biāo)，有存在顏色與背景基本一致或緩慢變換的情況。在這種情況下，人的肉眼通常無法確定該類目標(biāo)與背景的邊界，常規(guī)使用多邊形輪廓線的方式定義缺陷進(jìn)行像素級標(biāo)注的方法存在著極大的困難。

上述難以標(biāo)注的問題通常有三種解決方法：①剔除這類圖片，改用含有更為明顯缺陷的圖片進(jìn)行標(biāo)注與訓(xùn)練網(wǎng)絡(luò)；②放棄標(biāo)注這類缺陷；③憑借標(biāo)注者對圖像的經(jīng)驗(yàn)來估計(jì)這類標(biāo)注區(qū)域。對于含有缺陷圖片本就稀少的缺陷檢測領(lǐng)域，剔除這類圖片或是放棄標(biāo)注其中的這類標(biāo)注極有可能降低算法模型對這類缺陷的泛化認(rèn)知，從而增加缺陷的漏檢率，導(dǎo)致算法模型無法滿足實(shí)際需求。而憑借標(biāo)注者經(jīng)驗(yàn)來估計(jì)這類標(biāo)注區(qū)域時(shí)，需要標(biāo)注者對這類缺陷有非常準(zhǔn)確的認(rèn)知，否則算法模型可能因?yàn)闃?biāo)注的不準(zhǔn)確而導(dǎo)致增加漏檢率與誤檢率。而在某些極端情況下，專業(yè)的標(biāo)注者自身都難以界定較為精確的標(biāo)注區(qū)域。這極大地增加了實(shí)施像素級缺陷檢測的難度。

因此，為了訓(xùn)練更為有效的模型，必須盡量合理使用這些人工標(biāo)注困難的圖片，以保證算法模型的訓(xùn)練效果，從而在維持缺陷誤檢率的情況下降低其漏檢率。

參考文獻(xiàn)：

CN109145713A-一種結(jié)合目標(biāo)檢測的小目標(biāo)語義分割方法；

CN109255790A-一種弱監(jiān)督語義分割的自動(dòng)圖像標(biāo)注方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于目標(biāo)檢測信息生成缺陷區(qū)域的語義分割網(wǎng)絡(luò)訓(xùn)練方法，該方法利用對缺陷圖片的先驗(yàn)認(rèn)知與目標(biāo)檢測框標(biāo)注的尺度信息引導(dǎo)語義分割網(wǎng)絡(luò)模型在訓(xùn)練時(shí)能較快收斂，且能較為準(zhǔn)確地推斷出缺陷信息；能有效地避開現(xiàn)有像素級別標(biāo)注困難的問題，改用目標(biāo)檢測框標(biāo)注信息實(shí)現(xiàn)語義分割網(wǎng)絡(luò)訓(xùn)練。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于目標(biāo)檢測信息生成缺陷區(qū)域的語義分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：對圖片樣本中的缺陷標(biāo)注矩形的目標(biāo)檢測框，并給出目標(biāo)檢測框?qū)?yīng)的語義類別；在語義分割網(wǎng)絡(luò)訓(xùn)練中，輸入圖片樣本以及其對應(yīng)的目標(biāo)檢測框和目標(biāo)檢測框?qū)?yīng)的語義類別進(jìn)行訓(xùn)練。

進(jìn)一步地，所述語義分割網(wǎng)絡(luò)訓(xùn)練包括：

S100、讀入圖片樣本以及其對應(yīng)的目標(biāo)檢測框和目標(biāo)檢測框?qū)?yīng)的語義類別；

S200、將圖片樣本傳入語義分割網(wǎng)絡(luò)，前向推斷計(jì)算獲得Logit；

S300、利用目標(biāo)檢測框信息及Logit計(jì)算損失值；