[發(fā)明專利]一種基于在線難例挖掘方式的檢測(cè)器訓(xùn)練優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010425061.8
• 申請(qǐng)日: 2020-05-19
• 公開(kāi)（公告）號(hào): CN111598175B
• 公開(kāi)（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: 楊帆;王瀚洋;胡建國(guó);白立群
• 申請(qǐng)（專利權(quán)）人: 南京甄視智能科技有限公司
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/82;G06N3/08
• 代理公司: 北京德崇智捷知識(shí)產(chǎn)權(quán)代理有限公司 11467
• 代理人: 季承

本發(fā)明公開(kāi)一種基于在線難例挖掘方式的檢測(cè)器訓(xùn)練優(yōu)化方法，將每個(gè)批次內(nèi)所有圖片產(chǎn)生的正負(fù)樣本視為同一張圖片產(chǎn)生進(jìn)行匯總，并根據(jù)漏標(biāo)概率選擇性拋棄負(fù)樣本，最后再計(jì)算每張圖片的損失值以及每個(gè)批次內(nèi)所有圖片的平均損失值，以此作為調(diào)整網(wǎng)絡(luò)訓(xùn)練參數(shù)。與現(xiàn)有技術(shù)相比，本發(fā)明只需要采集一批待檢測(cè)場(chǎng)景中不含檢測(cè)目標(biāo)的圖片，直接加入模型訓(xùn)練即可，不僅可以節(jié)省采集數(shù)據(jù)的人力成本，還能加速檢測(cè)網(wǎng)絡(luò)訓(xùn)練的收斂速度，有效提升檢測(cè)器的檢測(cè)效果。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器視覺(jué)檢測(cè)技術(shù)領(lǐng)域，具體涉及訓(xùn)練中使用在線難例挖掘方式的檢測(cè)算法。

背景技術(shù)

在基于深度學(xué)習(xí)的檢測(cè)算法中，一階檢測(cè)器(如SSD和YOLO等)因其速度快且精度較高，能夠部署在移動(dòng)端(如手機(jī)、Pad等)用于實(shí)時(shí)目標(biāo)檢測(cè)。眾所周知，卷積神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練效果與訓(xùn)練數(shù)據(jù)集強(qiáng)相關(guān)，若訓(xùn)練數(shù)據(jù)集泛化能力較差(種類、背景、燈光等因素單一)，則訓(xùn)練的模型僅限于在與訓(xùn)練集相似的環(huán)境中表現(xiàn)較好，而在其它新場(chǎng)景中表現(xiàn)一般(誤檢、漏檢高)。

使用在線難例挖掘方式的訓(xùn)練的檢測(cè)算法中，SSD算法比較具有代表性，下文中如無(wú)特殊介紹，通常以SSD作為技術(shù)背景介紹。與分類網(wǎng)絡(luò)手動(dòng)生成訓(xùn)練樣本不同，SSD參與訓(xùn)練的正負(fù)樣本來(lái)自固定規(guī)則生成的錨框(anchor)。這些錨框是圖片的一部分區(qū)域，而并非分類網(wǎng)絡(luò)將原圖所有像素點(diǎn)參與模型訓(xùn)練。在SSD系列算法的訓(xùn)練過(guò)程中，目前使用的是在線難例挖掘(Online Hard Example Mining，OHEM)生成訓(xùn)練樣本，這種挖掘方式控制了正負(fù)樣本的比例(通常設(shè)置正負(fù)樣本比1:3)。具體來(lái)說(shuō)，在每個(gè)批次(batch)中的每張訓(xùn)練圖片，規(guī)則地分布各種大小的anchor；這些anchor與訓(xùn)練圖片中真實(shí)標(biāo)注框(ground truth)計(jì)算交并比(IOU)，設(shè)定閾值將anchor區(qū)分為正樣本和負(fù)樣本，即IOU大于該閾值為正樣本。由于每張圖的ground truth有限所以正樣本的數(shù)量同樣有限，且后者的數(shù)量通常是前者的數(shù)倍。再將每張圖所有的負(fù)樣本按分?jǐn)?shù)由高到低排序，取分?jǐn)?shù)靠前且3倍于正樣本數(shù)量的負(fù)樣本。如一張圖有3個(gè)正樣本，將對(duì)應(yīng)有9個(gè)負(fù)樣本完成檢測(cè)器的訓(xùn)練。通過(guò)這些正負(fù)樣本將計(jì)算出此batch訓(xùn)練過(guò)程中損失值Loss的計(jì)算并反向傳播調(diào)整模型的參數(shù)從而訓(xùn)練網(wǎng)絡(luò)。SSD所使用的OHEM流程如圖1所示。具體流程為：

1、對(duì)采集的圖片標(biāo)注ground truth，標(biāo)注需要訓(xùn)練的目標(biāo)的位置；

2、將圖片和對(duì)應(yīng)的標(biāo)注同時(shí)加入訓(xùn)練，每次迭代所有圖片分成若干個(gè)batch，每個(gè)batch隨機(jī)選擇不同的一批數(shù)據(jù)(圖片和標(biāo)注)讀取；

3、將圖片按照自定義的數(shù)據(jù)增強(qiáng)方式得到新的圖片，并統(tǒng)一縮放至固定的網(wǎng)絡(luò)訓(xùn)練輸入大小，并按照自定義的策略在圖片上分布不同大小的anchor。每張圖中所有的anchor與ground truth計(jì)算IOU，IOU大于某閾值的anchor為正樣本，小于該值的為負(fù)樣本；

4、選擇每張圖中所有的正樣本anchor，將負(fù)樣本按分值自高向低排序(分值越高，說(shuō)明該負(fù)樣本越像ground truth，為困難負(fù)例)，并根據(jù)預(yù)設(shè)定的正負(fù)樣本比例選擇對(duì)應(yīng)數(shù)量靠前的負(fù)樣本；

5、每張圖將所有正樣本以及被選擇的負(fù)樣本匯總根據(jù)損失函數(shù)計(jì)算損失值Loss，每個(gè)batch計(jì)算出總Loss的平均值，并通過(guò)反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)從而訓(xùn)練模型。

OHEM的缺點(diǎn)在于：

(1)每張圖片根據(jù)各自的正樣本數(shù)量在圖中挖掘?qū)?yīng)數(shù)量的負(fù)樣本，對(duì)于不同復(fù)雜程度的圖片，必然會(huì)存在每張圖片挖掘的負(fù)樣本難易程度不均勻。若某張圖片背景簡(jiǎn)單，則負(fù)樣本較為簡(jiǎn)單，參與訓(xùn)練的負(fù)樣本數(shù)量再多對(duì)提升模型精度和魯棒性的意義不大；但若某張圖片背景復(fù)雜，則負(fù)樣本較為困難，而OHEM會(huì)限制負(fù)樣本的數(shù)量。在訓(xùn)練集背景單一或簡(jiǎn)單的情況下，OHEM的方式不利于提升模型魯棒性。