[發(fā)明專利]基于多尺度深度特征差值融合網(wǎng)絡(luò)的變化檢測方法

有效

• 申請?zhí)枺?/td>: 201910596151.0
• 申請日: 2019-07-03
• 公開（公告）號(hào): CN110472634B
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計(jì)）人: 黃睿;周末
• 申請（專利權(quán)）人: 中國民航大學(xué)
• 主分類號(hào): G06V10/46
• 分類號(hào): G06V10/46;G06V10/764
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種基于多尺度深度特征差值融合網(wǎng)絡(luò)的變化檢測方法，包括：基于孿生卷積神經(jīng)網(wǎng)絡(luò)，對Dec階段的圖像深度特征用Enc模塊進(jìn)行內(nèi)編碼處理；對多尺度的圖像深度特征進(jìn)行交叉編碼處理；使用兩通道的卷積層作用于多尺度的深度特征融合差異信息，獲取多尺度變化概率圖并拼接，得到預(yù)測變化概率圖；分別計(jì)算多尺度變化概率圖以及預(yù)測變化概率圖的交叉熵?fù)p失函數(shù)，對損失函數(shù)進(jìn)行累加獲取最終的損失函數(shù)；使用真值圖的變化區(qū)域?yàn)橹行模瑢斎雸D像和真值圖進(jìn)行裁剪和翻轉(zhuǎn)以此實(shí)現(xiàn)對訓(xùn)練數(shù)據(jù)的擴(kuò)展，構(gòu)建成多尺度深度特征差值的融合網(wǎng)絡(luò)；根據(jù)擴(kuò)展后的訓(xùn)練數(shù)據(jù)訓(xùn)練融合網(wǎng)絡(luò)，輸入查詢圖像和參考圖像，輸出變化檢測結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及變化檢測領(lǐng)域，尤其涉及一種基于多尺度深度特征差值融合網(wǎng)絡(luò)的變化檢測方法。

背景技術(shù)

變化檢測研究同一場景不同時(shí)刻得到的圖像所發(fā)生的變化，被廣泛應(yīng)用到資源監(jiān)控、異常檢測、視頻監(jiān)控、以及自動(dòng)駕駛等領(lǐng)域。

傳統(tǒng)的變化檢測方法，最常用的是差值法，它求得變化前后兩圖像的差值圖再用閾值分割得到變化和未變化區(qū)域。此外還有比值法，變化向量分析法等。這類方法簡單直接易于理解，但是易受到光照變化和相機(jī)位姿差異等外在噪音的影響從而影響變化檢測結(jié)果。Feng^[1]等人提出了一個(gè)聯(lián)合優(yōu)化方法，對相機(jī)位姿，光照和變化結(jié)果進(jìn)行聯(lián)合優(yōu)化，在微變檢測領(lǐng)域取得良好的效果。

目前較為流行的是基于深度學(xué)習(xí)的變化檢測方法，該方法用深度網(wǎng)絡(luò)提取圖像特征并對原始圖像與變化真值圖進(jìn)行端到端的訓(xùn)練學(xué)習(xí)，能夠有效克服由于光照變化和相機(jī)位姿差異所引入的變化噪聲。Sakurada^[2]等人提出將變化前后的圖像對和光流圖輸入CNN(Convolutional neural network,卷積神經(jīng)網(wǎng)絡(luò))以克服光照和相機(jī)影響。Huang^[3]等人提出一個(gè)由相機(jī)位姿校正網(wǎng)絡(luò)和變化檢測網(wǎng)絡(luò)相結(jié)合的微變檢測模型，有效克服光照與相機(jī)位姿影響。

現(xiàn)有的基于深度學(xué)習(xí)的變化檢測方法可以有效克服光照等噪音影響，但是大多只是使用了深度網(wǎng)絡(luò)最后一層提取的圖像特征，并沒有充分利用圖像的多尺度信息，導(dǎo)致傳統(tǒng)變化檢測方法易受到光照變化和相機(jī)位姿差異的影響產(chǎn)生錯(cuò)誤的變化檢測結(jié)果。

參考文獻(xiàn)

[1]W.Feng,F.-P.Tian,Q.Zhang,N.Zhang,L.Wan,J.Sun,Fine-grained changedetection of misaligned scenes with varied illuminations,in:Proceedings ofthe IEEE International Conference on Computer Vision,2015,pp.1260–1268.

[2]K.Sakurada,W.Wang,N.Kawaguchi,R.Nakamura,Dense optical flow basedchange detection network robust to difference of camera viewpoints,arXivpreprint arXiv:1712.02941.

[3]Huang R,Feng W,Wang Z,et al.Learning to detect fine-grained changeunder variant imaging condit ions[C]//Proceedings of the IEEE InternationalConference on Computer Vision.2017:2916-2924.

發(fā)明內(nèi)容

本發(fā)明提供了一種基于多尺度深度特征差值融合網(wǎng)絡(luò)的變化檢測方法，本發(fā)明設(shè)計(jì)了有效的孿生卷積神經(jīng)網(wǎng)絡(luò)模型，采用內(nèi)編碼技術(shù)融合圖像多尺度信息、用交叉編碼技術(shù)捕獲圖像變化前后的多尺度差異特征，并融合了從較高層到較低層的變化差異特征，用多層損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，以解決變化檢測中由光照和相機(jī)位姿引入的噪音問題，詳見下文描述：