[發明專利]一種海量監控視頻使用和呈現方式

在審

• 申請號: 201711043476.3
• 申請日: 2017-10-31
• 公開（公告）號: CN107909637A
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 宋昌江;楊東亮;王云龍;李昕迪;費磊;周鈺琢;胡玥明;吳岡
• 申請（專利權）人: 黑龍江省科學院自動化研究所
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T7/33;H04N7/18
• 代理公司: 北京華仲龍騰專利代理事務所(普通合伙)11548
• 代理人: 李靜

技術領域

本發明涉及一種視頻圖像處理技術，具體是一種海量監控視頻使用和呈現方式。

背景技術

目前來說，比較常用的全景視頻圖像采集的方法有兩種，一是利用魚眼鏡頭攝像機得到大范圍的視頻圖像，但是其得到的圖像變形會非常嚴重，難于跟三維模型結合，需要用算法對生成的圖像進行矯正，從而得到全景平面視頻圖像。二是使用多攝像機的方法，然后對得到的圖像進行拼接和融合處理。如美國IPIX公司的Command View系列產品，利用魚眼鏡頭的寬廣視角直接獲取360°場景，再利用算法進行圖像矯正得到一個環形范圍的平面的全景視頻圖像；而Honeywell公司推出的PARASCAN全景攝像機則是由多個固定式的攝像機來拍攝不同空間場景，然后對得到的圖像進行拼接，從而實現全景視頻。

目前，國外對于多鏡頭全景監控方面的理論和實踐研究是一個相對空白的領域，目前還鮮有比較完善及方便實現的實用技術以及解決方案。類似的一些全景視頻的或者虛擬顯示的解決方案多事應用于一些大型展示或者視頻會議，比如2010上海世博會的網上世博參觀平臺，就是全景現實虛擬技術的一項非常典型的應用。另外，在國防科技大學，浙江大學及中科院軟件研究所等高校和科研院所也開展過類似方向的研究，并取得了一些成果，但是目前為止還沒有提出一套完整可行的實施方案。

在技術研究方面，視頻的全景拼接技術可以分為兩大類：基于圖像配準的方式；基于流形思想的拼接方式。圖像配準方法可歸納為對三個元素的選擇問題：特征空間，相似性準則以及搜索策略。特征空間定義了用于配準的基本特征信息，相似性準則是特征分類的基本依據，而搜索策略則決定了從特征空間中根據相似性依據尋找同類特征的方法。具體的圖像配準方式又可以分為以下兩大類：

(1)基于灰度值信息的圖像配準方法。

該方法利用圖像的灰度信息直接計算圖像之間的關系，其關系的緊密程度用相似性度量函數來判定。根據相似性函數的不同又可將該方法分為兩大類：基于時域的圖像配準方法和基于頻域的圖像配準方法。總體來說，該方法比較簡單，不需要復雜的預處理，但相似性度量程度的好壞直接影響圖像配準的精度。因此，采用該方法時需要提供合適的相似性度量。

(2)基于特征點的方式。基于特征點的圖像拼接方法需要預先提取圖像的特征點，再根據特征點找出圖像之間的對應關系，確定圖像重疊的區域，然后再把各幅圖像進行融合。該方法的難點在于如何提取和選擇魯棒的特征，以及特征之間的匹配關系如何確定。特征的形式多樣，例如有Harris角點特征、Sift特征、Gist特征等等，需要根據實際情況選擇魯棒的特征。

總的來說，無論從技術研究情況，還是實際應用情況，對于三維全景融合技術的研究都處于探索研發階段，學界提出很多方法，但目前能夠得到應用又能滿足人們要求的方法還很有限。特別是在全景圖效果和實現速度的要求很難達到人們的需求。

發明內容

本發明的目的在于提供一種海量監控視頻使用和呈現方式以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種海量監控視頻使用和呈現方式，包含以下步驟：

A、視頻圖像截取。

B、圖像配準：一幅圖像擁有不同的可提取的特征，選擇其中容易提取的，并能夠在某種程度上表征待配準圖像相似性的特征作為配準依據。

C、圖像融合：對多源圖像的同一場景、目標的同一像素級上的灰度進行綜合處理，最后生成的新圖像能夠容納源圖像中所有像素點的信息。

D、紋理映射到三維模型。

作為本發明再進一步的方案：所述圖像配準具體包括：①提取SIFT特性；②計算距離與角度進行匹配；③RANSAC提純。

作為本發明再進一步的方案：所述圖像融合具體包括：a、單應及排序，b、全圖像融合。

與現有技術相比，本發明的有益效果是：本發明提出一種以現實場景三維模型為基礎的，結合多路視頻融合的，實時視頻監控新方法，并研制系統樣機、開發系統模塊化軟件。其特點表現在：1、以現實三維模型建立虛擬環境，并以此作為視頻融合載體和最終呈現主體；2、采用帶約束的RANSAC算法實現多視頻匹配與配準；3、采用高斯金字塔算法實現多視頻融合的實時處理及顯示。

附圖說明

圖1為本發明的工作流程圖。

圖2為圖像配準流程圖。

具體實施方式