[發(fā)明專利]基于多攝像機(jī)交叉攝影的視頻全景拼接融合方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010375299.4
• 申請(qǐng)日: 2020-05-06
• 公開（公告）號(hào): CN111583116A
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 李鵬;劉亮;謝宇航
• 申請(qǐng)（專利權(quán)）人: 上海瀚正信息科技股份有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/80
• 代理公司: 北京華識(shí)知識(shí)產(chǎn)權(quán)代理有限公司 11530
• 代理人: 秦瑞

本發(fā)明提供了基于多攝像機(jī)交叉攝影的視頻全景拼接融合方法及系統(tǒng)，該系統(tǒng)用于實(shí)現(xiàn)該方法，該方法包括：從視頻流中獲取兩張拍攝區(qū)域重疊的攝像機(jī)同一時(shí)刻的圖像；對(duì)兩張圖像依次進(jìn)行畸變校正和正射校正獲得校正圖像；提取兩張校正圖像的特征點(diǎn)，根據(jù)特征點(diǎn)得到特征點(diǎn)匹配對(duì)；根據(jù)特征點(diǎn)匹配對(duì)得到透視變換矩陣，根據(jù)透視變換矩陣得到兩張透視變換圖像；獲得兩張兩張透視變換圖像的蒙版；根據(jù)終蒙版以及特征點(diǎn)匹配對(duì)，對(duì)兩張透視變換圖像進(jìn)行拼接。本發(fā)明實(shí)現(xiàn)了主光軸交叉夾角大的攝像機(jī)之間的圖像的拼接。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理領(lǐng)域，具體涉及基于多攝像機(jī)交叉攝影的視頻全景拼接融合方法及系統(tǒng)。

背景技術(shù)

隨著智能智造、智慧城市領(lǐng)域的蓬勃發(fā)展，越來越多場(chǎng)景需要有360度無死角的監(jiān)控，最簡(jiǎn)單的解決方案就是直接在中心區(qū)域安裝一個(gè)球形全景攝像機(jī)。但需要達(dá)到360度無死角拍攝，要求球形全景相機(jī)的必須垂直對(duì)地安裝在場(chǎng)景的中心區(qū)域，要求場(chǎng)景中沒有大型遮擋物，要求對(duì)相機(jī)輸出圖像進(jìn)行畸變矯正，而且球形全景攝像機(jī)由于成像關(guān)系的原因，與主光軸夾角最小的正下方區(qū)域幾乎占據(jù)整個(gè)輸出視頻的80％，而離主光軸角度越大區(qū)域拍攝的清晰度越低。相對(duì)于以上種種條件的限制，使用多個(gè)槍型攝像機(jī)交叉攝影的方式能滿足90％以上場(chǎng)景對(duì)于360度無死角監(jiān)控的需求。但由于攝像機(jī)安裝數(shù)量的增多，由人工一個(gè)個(gè)的查看每個(gè)攝像機(jī)所拍攝視頻非常的費(fèi)事費(fèi)神費(fèi)力，因此社會(huì)各界對(duì)于多攝像機(jī)交叉攝影視頻數(shù)據(jù)的融合技術(shù)提出了非常迫切的需求。

現(xiàn)階段視頻融合技術(shù)都只能在兩個(gè)攝像機(jī)主光軸夾角在90度以內(nèi)時(shí)進(jìn)行視頻融合才能融合出比較好的效果，當(dāng)兩個(gè)攝像機(jī)主光軸夾角大于90度時(shí)效果就會(huì)變得非常不理想。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明提供了一種基于多攝像機(jī)交叉攝影的視頻全景拼接融合方法及系統(tǒng)。

一方面，本發(fā)明提供了基于多攝像機(jī)交叉攝影的視頻全景拼接融合方法，其包括：

S1：從視頻流中獲取多個(gè)攝像機(jī)同一時(shí)刻的圖像；

S2：對(duì)于S1中獲取的一張圖像，根據(jù)匹配規(guī)則從S1獲取的圖像中選出與其匹配的另一張圖像，對(duì)兩張匹配的圖像分別先進(jìn)行畸變校正，然后分別進(jìn)行正射校正，得到兩張校正圖像，所述匹配規(guī)則包括：匹配的兩張圖像分別對(duì)應(yīng)兩個(gè)攝像機(jī)，所述兩個(gè)攝像機(jī)的拍攝區(qū)域存在互相重疊的區(qū)域，所述互相重疊的區(qū)域的面積與所述兩個(gè)攝像機(jī)的拍攝區(qū)域的面積之和的比例大于預(yù)設(shè)的重疊閾值；

S3：對(duì)兩張校正圖像分別提取各自的特征點(diǎn)，然后根據(jù)兩張校正圖像的特征點(diǎn)在兩張校正圖像之間進(jìn)行特征點(diǎn)匹配，得到初步匹配對(duì)，對(duì)初步匹配對(duì)進(jìn)行篩選，得到特征點(diǎn)匹配對(duì)；

S4：根據(jù)特征點(diǎn)匹配對(duì)計(jì)算兩張校正圖像的透視變換矩陣，根據(jù)透視變換矩陣將兩張校正圖像調(diào)整到統(tǒng)一的圖像坐標(biāo)系中，對(duì)于一個(gè)特征匹配對(duì)中的兩個(gè)像素點(diǎn)，其在所述坐標(biāo)系中的坐標(biāo)相同，從而得到兩張透視變換圖像；

S5：分別計(jì)算兩張透視變換圖像的初始蒙版，將得到的兩張初始蒙版的像素點(diǎn)的總數(shù)記為Nt，將獲得的兩張初始蒙版置于S4所述的坐標(biāo)系中，按設(shè)定的刪除規(guī)則交替對(duì)兩張初始蒙版的邊緣像素點(diǎn)進(jìn)行刪除，縮小兩張初始蒙版的面積，所述刪除規(guī)則包括：對(duì)于當(dāng)前正在處理的初始蒙版的一個(gè)邊緣像素點(diǎn)，判斷在另一個(gè)初始蒙版中是否有與其坐標(biāo)相同的像素點(diǎn)，若有，則在當(dāng)前正在處理的初始蒙版中將該邊緣像素點(diǎn)刪除，若無，則保留該邊緣像素點(diǎn)；

直到兩張初始蒙版中剩余的坐標(biāo)相同的像素點(diǎn)對(duì)的數(shù)量與Nt的比值小于預(yù)設(shè)的閾值，才停止交替刪除兩張初始蒙版中的邊緣像素點(diǎn)，將停止交替刪除邊緣像素點(diǎn)后得到的面積縮小的兩張初始蒙版作為兩張最終蒙版；

S6：根據(jù)兩張最終蒙版以及特征點(diǎn)匹配對(duì)，對(duì)兩張透視變換圖像進(jìn)行拼接。

另一方面，

本發(fā)明提供了基于多攝像機(jī)交叉攝影的視頻全景拼接融合系統(tǒng)，其包括：