[發(fā)明專利]一種基于視頻的全景圖像的變化檢測方法

在審

• 申請?zhí)枺?/td>: 202010095879.8
• 申請日: 2020-02-17
• 公開（公告）號: CN111369495A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 鄭世強(qiáng);陳前
• 申請（專利權(quán)）人: 珀樂（北京）信息科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/33;G06T3/40;G06K9/46
• 代理公司: 北京中創(chuàng)云知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11837
• 代理人: 徐輝

1.一種基于視頻的全景圖像的變化檢測方法，其特征在于，包括：

連續(xù)改變相機(jī)視角，拍攝覆蓋待檢測區(qū)域的視頻數(shù)據(jù)，采用抽幀法獲取連續(xù)的圖像，拼接形成待檢測區(qū)域的全景圖像；

將所述全景圖像作為底圖數(shù)據(jù)，拍攝待檢測區(qū)域的視頻數(shù)據(jù)，抽幀法獲取待檢測區(qū)域的實(shí)時(shí)圖像，與所述全景圖像進(jìn)行配準(zhǔn)，定位實(shí)時(shí)圖像在全景圖像上的對應(yīng)區(qū)域；

比較所述實(shí)時(shí)圖像與全景圖像上的對應(yīng)區(qū)域，判斷是否存在變化區(qū)域。

2.根據(jù)權(quán)利要求1所述的一種基于視頻的全景圖像的變化檢測方法，其特征在于，拼接形成待檢測區(qū)域的全景圖像包括：

采用SIFT算法來對連續(xù)圖像進(jìn)行特征點(diǎn)提取，包括構(gòu)建尺度空間、關(guān)鍵點(diǎn)精確定位、確定關(guān)鍵點(diǎn)的方向、生成關(guān)鍵點(diǎn)的特征描述符；

相鄰連續(xù)圖像進(jìn)行特征點(diǎn)匹配，實(shí)現(xiàn)圖像配準(zhǔn)，包括采用關(guān)鍵點(diǎn)的特征描述符來實(shí)現(xiàn)特征點(diǎn)的粗匹配，刪除匹配點(diǎn)對當(dāng)中一對多和多對一的情況，再剔除錯(cuò)誤匹配點(diǎn)；

將圖像配準(zhǔn)后，基于Homography矩陣建立整體優(yōu)化的誤差方程，建立相鄰圖像之間的整體變換模型以進(jìn)行圖像的拼接，得到所述全景圖像。

3.根據(jù)權(quán)利要求2所述的一種基于視頻的全景圖像的變化檢測方法，其特征在于，采用SIFT算法來對連續(xù)圖像進(jìn)行特征點(diǎn)提取包括：

利用高斯圖像金字塔和差分金字塔構(gòu)建尺度空間，高斯金字塔基于GPU實(shí)現(xiàn)；差分高斯金字塔通過高斯金字塔相鄰兩層相減得到；

在整個(gè)高斯差分尺度空間檢測極值點(diǎn)作為特征點(diǎn)，通過Hessian矩陣計(jì)算特征點(diǎn)的主曲率，剔除主曲率大于給定的閾值的特征點(diǎn)；

將整個(gè)差分金字塔作為輸入，計(jì)算特征點(diǎn)方向梯度模值；特征點(diǎn)方向，所述梯度模值的計(jì)算采用GPU，沿主方向和輔方向查找采用CPU；

采用GPU生成每個(gè)特征點(diǎn)的特征描述符。

4.根據(jù)權(quán)利要求2或3所述的一種基于視頻的全景圖像的變化檢測方法，其特征在于，相鄰連續(xù)圖像進(jìn)行特征點(diǎn)匹配包括：

對相鄰連續(xù)圖像的特征點(diǎn)進(jìn)行粗匹配獲取特征點(diǎn)對，選定某一特征點(diǎn)，到相鄰圖像中找到與其對應(yīng)的特征描述符之間歐式距離最近的特征點(diǎn)與次近的特征點(diǎn)，計(jì)算與最近的特征點(diǎn)和次近的特征點(diǎn)的距離的比值，如果位于設(shè)定閾值范圍則構(gòu)成特征點(diǎn)對；

通過利用特征點(diǎn)對像素坐標(biāo)唯一性，刪除特征點(diǎn)對中一對多和多對一的特征點(diǎn)對；

采用斜率約束和極線約束剔除不滿足要求的特征點(diǎn)對；

利用RANSAC算法基于透視變換模型剔除透視變換模型以外的特征點(diǎn)所在的特征點(diǎn)對；

剩余的特征點(diǎn)對作為匹配的特征點(diǎn)。

5.根據(jù)權(quán)利要求4所述的一種基于視頻的全景圖像的變化檢測方法，其特征在于，基于Homography矩陣來建立整體優(yōu)化的誤差方程，建立相鄰圖像之間的整體變換模型來進(jìn)行圖像的拼接包括初始配準(zhǔn)和精確配準(zhǔn)；

初始配準(zhǔn)為利用最小二乘法進(jìn)行圖像初始配準(zhǔn)的初始化；

精確配準(zhǔn)包括：計(jì)算相鄰圖像中一幅圖像的Homography矩陣，將特征點(diǎn)按照特征點(diǎn)對投影至相鄰圖像中的另一幅，計(jì)算變形后的特征點(diǎn)；利用Levenberg-Marquet算法對抽幀法獲取連續(xù)的圖像對應(yīng)的各個(gè)Homography矩陣進(jìn)行整體優(yōu)化，得到每個(gè)Homography矩陣的值，并根據(jù)整體優(yōu)化后的參數(shù)來拼接的圖像。

6.根據(jù)權(quán)利要求5所述的一種基于視頻的全景圖像的變化檢測方法，其特征在于，獲取待檢測區(qū)域的實(shí)時(shí)圖像后，采用SIFT算法來對所述實(shí)時(shí)圖像進(jìn)行特征點(diǎn)提取，包括構(gòu)建尺度空間、關(guān)鍵點(diǎn)精確定位、確定關(guān)鍵點(diǎn)的方向、生成關(guān)鍵點(diǎn)的特征描述符；與所述全景圖像進(jìn)行特征點(diǎn)匹配，定位到圖像在全景圖像上的對應(yīng)區(qū)域。