[發(fā)明專利]基于視覺(jué)注意機(jī)制強(qiáng)化學(xué)習(xí)弱監(jiān)督圖像檢測(cè)方法、系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910273048.2
• 申請(qǐng)日: 2019-04-04
• 公開（公告）號(hào): CN110084245B
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 張兆翔;張馳;恩擎
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06K9/46
• 分類號(hào): G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于計(jì)算機(jī)及機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及了一種基于視覺(jué)注意機(jī)制強(qiáng)化學(xué)習(xí)弱監(jiān)督圖像檢測(cè)方法、系統(tǒng)，旨在解決現(xiàn)有的圖像檢測(cè)方法需要大量有明確標(biāo)簽的訓(xùn)練數(shù)據(jù)，且標(biāo)記費(fèi)時(shí)費(fèi)力的問(wèn)題。本發(fā)明方法包括：獲取具有弱監(jiān)督標(biāo)記的圖像作為輸入圖像；采用特征提取網(wǎng)絡(luò)提取輸入圖像的特征；依據(jù)對(duì)應(yīng)的弱監(jiān)督標(biāo)記，計(jì)算并排序，獲得排序后的自頂向下的特征表示；將其輸入深度Q網(wǎng)絡(luò)，計(jì)算擦除動(dòng)作序列；將擦除動(dòng)作序列作用于輸入圖像進(jìn)行擦除操作，直到預(yù)設(shè)的停止動(dòng)作，將獲得的圖像作為檢測(cè)結(jié)果。本發(fā)明使用自頂向下的信息通過(guò)決策神經(jīng)網(wǎng)絡(luò)從動(dòng)作空間中得到最優(yōu)動(dòng)作策略，能有效地模仿人類的視覺(jué)機(jī)理，通過(guò)迭代方式聚焦顯著區(qū)域。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)及機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及了一種基于視覺(jué)注意機(jī)制強(qiáng)化學(xué)習(xí)弱監(jiān)督圖像檢測(cè)方法、系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，圖像和視頻已經(jīng)成為數(shù)字媒體信息的重要載體。如何從圖像與視頻信息中提取有效的語(yǔ)義信息成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。人類感知系統(tǒng)的反應(yīng)都是根據(jù)不同感知器官接受的外部信息所分析獲得，而視覺(jué)感知系統(tǒng)在其中扮演著重要的作用。外界無(wú)時(shí)無(wú)刻不在將信息通過(guò)視覺(jué)感知系統(tǒng)傳入大腦進(jìn)行分析，并根據(jù)分析做出適當(dāng)?shù)姆磻?yīng)。但因?yàn)槿祟惔竽X處理信息能力有限而視覺(jué)系統(tǒng)不斷接受大量信息，一些信息不經(jīng)過(guò)視覺(jué)機(jī)理處理就會(huì)使信息的處理滯后，更可能有丟失重要信息的風(fēng)險(xiǎn)。因此人類進(jìn)化過(guò)程中演化出了一種高級(jí)的視覺(jué)處理機(jī)制：選擇注意機(jī)制。該機(jī)制能夠?qū)斎胍曈X(jué)信息做重要篩選，優(yōu)先級(jí)別高的信息會(huì)被優(yōu)先處理，從而提升視覺(jué)信息處理效率。

視覺(jué)注意機(jī)制模型受啟發(fā)于人類視覺(jué)系統(tǒng)，該機(jī)制將輸入的大量復(fù)雜視覺(jué)信息進(jìn)行篩選辨認(rèn)，最終獲得少量關(guān)鍵信息，極大提高了視覺(jué)信息處理的效率。自底向上和自頂向下的視覺(jué)機(jī)制分別通過(guò)數(shù)據(jù)驅(qū)動(dòng)和任務(wù)驅(qū)動(dòng)來(lái)指導(dǎo)模型進(jìn)行注意力區(qū)域的選擇。弱監(jiān)督任務(wù)因?yàn)槠淙鄙倜鞔_強(qiáng)監(jiān)督信息，所以需要從現(xiàn)有數(shù)據(jù)分布中通過(guò)自底向上和自頂向下的注意選擇區(qū)域進(jìn)行先驗(yàn)知識(shí)建模，最終更好地幫助模型進(jìn)行視覺(jué)信息處理，從而獲得正確的語(yǔ)義信息。

物體檢測(cè)與分割對(duì)視覺(jué)數(shù)據(jù)理解與感知都扮演了極為重要的角色。人類視覺(jué)注意機(jī)制因其能在海量數(shù)據(jù)中注視到顯著區(qū)域并分配資源優(yōu)先注意，故而能夠有效幫助計(jì)算機(jī)對(duì)圖像與視頻進(jìn)行語(yǔ)義分析。傳統(tǒng)的檢測(cè)和分割任務(wù)都會(huì)利用強(qiáng)監(jiān)督信息訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，即對(duì)于檢測(cè)任務(wù)標(biāo)記目標(biāo)邊界框、對(duì)于分割任務(wù)標(biāo)記每個(gè)像素類別。而弱監(jiān)督條件下進(jìn)行語(yǔ)義分析的難點(diǎn)在于訓(xùn)練樣本沒(méi)有強(qiáng)監(jiān)督訓(xùn)練標(biāo)記，難以建立數(shù)據(jù)與目標(biāo)之間的直接聯(lián)系。弱監(jiān)督學(xué)習(xí)多數(shù)使用以下幾種弱監(jiān)督信息：邊界框、眼動(dòng)軌跡、標(biāo)記曲線作為弱監(jiān)督標(biāo)記信息，從而建立輸入數(shù)據(jù)與目標(biāo)任務(wù)間的隱含映射關(guān)系。

總的來(lái)說(shuō)，現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的方法需要通過(guò)有明確任務(wù)標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，但是實(shí)際過(guò)程中往往缺少大量有明確標(biāo)簽的訓(xùn)練數(shù)據(jù)，且標(biāo)記費(fèi)時(shí)費(fèi)力。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問(wèn)題，即現(xiàn)有的圖像檢測(cè)方法需要大量有明確標(biāo)簽的訓(xùn)練數(shù)據(jù)，且標(biāo)記費(fèi)時(shí)費(fèi)力的問(wèn)題，本發(fā)明提供了一種基于視覺(jué)注意機(jī)制強(qiáng)化學(xué)習(xí)弱監(jiān)督圖像檢測(cè)方法，包括：

步驟S10，獲取具有弱監(jiān)督標(biāo)記的圖像作為輸入圖像；

步驟S20，基于特征提取網(wǎng)絡(luò)，采用前向傳播的方法提取所述輸入圖像對(duì)應(yīng)的特征表示；所述特征提取網(wǎng)絡(luò)為基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的用于特征提取的網(wǎng)絡(luò)；

步驟S30，基于所述特征表示對(duì)應(yīng)的弱監(jiān)督標(biāo)記，計(jì)算所述特征表示在所述弱監(jiān)督標(biāo)記條件下的自頂向下特征表示，對(duì)其中的元素值按照從大到小進(jìn)行重新排序；

步驟S40，采用深度Q網(wǎng)絡(luò)，依據(jù)重新排序后的自頂向下特征表示，構(gòu)造動(dòng)作空間、狀態(tài)空間、獎(jiǎng)勵(lì)空間，計(jì)算擦除動(dòng)作序列；所述深度Q網(wǎng)絡(luò)，為基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的用于計(jì)算特征表示在對(duì)應(yīng)的弱監(jiān)督標(biāo)記下的動(dòng)作序列的網(wǎng)絡(luò)；

步驟S50，依次將所述擦除動(dòng)作序列中每一個(gè)擦除動(dòng)作作用于輸入圖像上，直到擦除動(dòng)作為預(yù)設(shè)的停止動(dòng)作，將獲得的圖像作為檢測(cè)結(jié)果。