[發(fā)明專利]一種基于注意力機(jī)制連續(xù)視角的危險(xiǎn)品檢測方法

在審

• 申請?zhí)枺?/td>: 202110904444.8
• 申請日: 2021-08-06
• 公開（公告）號: CN114092783A
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 卓晴;喻望
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06V20/00
• 分類號: G06V20/00;G06V10/774;G06V10/82;G06K9/62;G06N3/04;H04N5/232
• 代理公司: 北京康思博達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11426
• 代理人: 潘煒;范國鋒

本發(fā)明公開了一種基于注意力機(jī)制連續(xù)視角的危險(xiǎn)品檢測方法，所述方法利用多視角拍攝危險(xiǎn)品得到的一系列旋轉(zhuǎn)圖像，然后基于注意力機(jī)制，訓(xùn)練網(wǎng)絡(luò)得到不同視角圖像的不同權(quán)重。本發(fā)明公開的基于注意力機(jī)制連續(xù)視角的危險(xiǎn)品檢測方法，使得網(wǎng)絡(luò)在物品識(shí)別與分類時(shí)更加有側(cè)重點(diǎn)，既不會(huì)被不必要的多余角度所干擾到結(jié)果，也不會(huì)忽略有效信息而無法識(shí)別出危險(xiǎn)品，顯著提升了檢測準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺和圖像處理技術(shù)領(lǐng)域，具體涉及一種基于注意力機(jī)制連續(xù)視角的危險(xiǎn)品檢測方法。

背景技術(shù)

危險(xiǎn)物品檢測是公共安全領(lǐng)域的一個(gè)關(guān)鍵問題，在危險(xiǎn)品檢測時(shí)，拍攝圖像的機(jī)器大多是從單一的角度進(jìn)行拍攝的，而危險(xiǎn)品的放置角度不同，會(huì)產(chǎn)生不同的檢測效果。例如：一把刀從不同角度拍攝，會(huì)產(chǎn)生不同的視覺效果，在很多角度會(huì)被錯(cuò)認(rèn)成其他的生活用品。因此，單一角度的危險(xiǎn)品識(shí)別會(huì)降低識(shí)別的準(zhǔn)確率。

現(xiàn)有技術(shù)中，為解決上述問題，采取的方法為：對于連續(xù)的圖像進(jìn)行整體分析，利用關(guān)鍵點(diǎn)的匹配和跟蹤，進(jìn)一步對感興趣的物體進(jìn)行分類；或者針對單張圖像，通過卷積神經(jīng)網(wǎng)絡(luò)提取特征信息，并對危險(xiǎn)品進(jìn)行識(shí)別。

例如：專利CN110458166A提出了一種基于可變形卷積的危險(xiǎn)品檢測方法、裝置及設(shè)備，其是利用可變形卷積對危險(xiǎn)品圖像進(jìn)行特征提取，但該方法沒有考慮圖像中危險(xiǎn)品的旋轉(zhuǎn)角度問題，對于某些角度，危險(xiǎn)品的特征可能很不明顯，只對于單一視角的圖像進(jìn)行特征提取再進(jìn)行識(shí)別，可能會(huì)忽略掉一部分的危險(xiǎn)物品。

專利CN110133741A提出了一種多視角匹配和跟蹤的自動(dòng)安檢方法，其是對于連續(xù)視角組成的一系列圖像進(jìn)行整體分析，而忽略了不同圖像間的差異。例如同意危險(xiǎn)品，在正面與側(cè)面觀察具有截然不同的區(qū)別，包含的特征信息也會(huì)有很大的差別。如果簡單地對所有視角進(jìn)行關(guān)鍵點(diǎn)匹配和跟蹤，可能不會(huì)獲得理想的結(jié)果。

專利CN110018524A提出了一種基于視覺-屬性的X射線安檢違禁品識(shí)別方法，其僅采用yolo層在多個(gè)尺度對特征圖進(jìn)行邊界框預(yù)測，也沒有考慮方向變化對于預(yù)測結(jié)果的影響。如果只是對于單一視角的圖像進(jìn)行特征提取，然后再進(jìn)行邊界框預(yù)測和物品識(shí)別，可能會(huì)忽略掉一部分的目標(biāo)物品，對最終結(jié)果產(chǎn)生影響。

綜上，現(xiàn)有技術(shù)中的方法或沒有考慮多角度下的危險(xiǎn)品圖像所帶來的特征差異，或忽略了連續(xù)視角的多張圖像在權(quán)重上的不同，均無法在考慮危險(xiǎn)品的不同角度時(shí)得到較好的效果。

因此，有必要提供一種能夠解決上述問題的危險(xiǎn)品檢測方法。

發(fā)明內(nèi)容

為了克服上述問題，本發(fā)明人進(jìn)行了銳意研究，設(shè)計(jì)出一種基于注意力機(jī)制連續(xù)視角的危險(xiǎn)品檢測方法，該方法利用多視角拍攝危險(xiǎn)品得到的一系列旋轉(zhuǎn)圖像，然后基于注意力機(jī)制，訓(xùn)練網(wǎng)絡(luò)得到不同視角圖像的不同權(quán)重，從而使得網(wǎng)絡(luò)在物品識(shí)別與分類時(shí)更加有側(cè)重點(diǎn)，既不會(huì)被不必要的多余角度所干擾到結(jié)果，也不會(huì)忽略有效信息而無法識(shí)別出危險(xiǎn)品，顯著提升了檢測準(zhǔn)確率，從而完成了本發(fā)明。

具體來說，本發(fā)明的目的在于提供以下方面：

第一方面，提供一種基于注意力機(jī)制連續(xù)視角的危險(xiǎn)品檢測方法，其中，所述方法包括以下步驟：

步驟1，訓(xùn)練獲得危險(xiǎn)品分類模型。

步驟2，獲取待檢測危險(xiǎn)品圖像，利用訓(xùn)練獲得的危險(xiǎn)品分類模型，獲得檢測結(jié)果。

其中，步驟1包括以下子步驟：

步驟1-1，建立訓(xùn)練集；

步驟1-2，構(gòu)建分類模型；

步驟1-3，訓(xùn)練分類模型。

其中，步驟1-1包括以下子步驟：

步驟1-1-1，獲得危險(xiǎn)品連續(xù)角度下的圖像；