[發(fā)明專利]一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201610037347.2
• 申請(qǐng)日: 2016-01-20
• 公開(kāi)（公告）號(hào): CN106991644A
• 公開(kāi)（公告）日: 2017-07-28
• 發(fā)明（設(shè)計(jì)）人: 劉剡;賀岳平;朱明亮
• 申請(qǐng)（專利權(quán)）人: 上海慧體網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，其特征在于：包括重疊區(qū)域計(jì)算模塊、特征點(diǎn)提取模塊、圖像單應(yīng)性矩陣計(jì)算模塊、圖像融合裁剪模塊；

所述重疊區(qū)域計(jì)算模塊設(shè)置各鏡頭的前景提取模塊、跨鏡頭的前景匹配模塊；

所述特征點(diǎn)提取模塊設(shè)置單幀特征點(diǎn)子提取模塊、單幀特征點(diǎn)匹配子模塊、多幀特征點(diǎn)對(duì)融合模塊；

其中，各鏡頭的前景提取模塊工作原理為：1)對(duì)各鏡頭的視頻，建立背景模型，從中分割出前景；2)對(duì)各鏡頭的前景按行和列的形式，分別計(jì)算各行和列的前景點(diǎn)比率，將各個(gè)時(shí)刻的計(jì)算結(jié)果進(jìn)行存儲(chǔ)；

跨鏡頭的前景匹配模塊工作原理為：對(duì)需要拼接的兩鏡頭A和B根據(jù)其拼接模式，選擇相應(yīng)的計(jì)算模式，左右拼接按列前景點(diǎn)比率計(jì)算，上下拼接按行前景點(diǎn)比率進(jìn)行計(jì)算；

單幀特征點(diǎn)子提取模塊工作原理為：對(duì)兩鏡頭的重疊區(qū)域是否存在一定比率的前景，若存在，則對(duì)當(dāng)前的前景區(qū)域，用局部特征提取算子進(jìn)行特征點(diǎn)提取；

單幀特征點(diǎn)匹配子模塊工作原理為：在對(duì)兩鏡頭的重疊區(qū)域提取得到特征點(diǎn)后，對(duì)各特征點(diǎn)進(jìn)行特征描述(如SIFT，SURF，ORB)，并對(duì)其進(jìn)行特征點(diǎn)匹配(可采用最近鄰法)，并采用對(duì)最終的匹配結(jié)果進(jìn)行過(guò)濾(如RANSAC)；

多幀特征點(diǎn)對(duì)融合模塊工作原理為：在對(duì)兩鏡頭的單幀圖像提取和匹配得到合適的特征點(diǎn)后，將匹配上的特征點(diǎn)對(duì)的位置進(jìn)行存儲(chǔ)，通過(guò)多幀的累積，在得到足夠多的匹配上的點(diǎn)對(duì)后(如100對(duì))，對(duì)這些點(diǎn)對(duì)再采 用RANSAC進(jìn)行一次過(guò)濾，得到過(guò)濾后的n對(duì)點(diǎn)對(duì)：P₁(p_A1，p_B1)，P₂(p_A1，p_B1)，......，P_n(p_A1，p_B1)；

圖像單應(yīng)性矩陣計(jì)算模塊工作原理為：利用兩個(gè)鏡頭中多幀所匹配上的n對(duì)點(diǎn)對(duì)P₁(p_A1，p_B1)，P₂(p_A1，p_B1)，......，P_n(p_A1，p_B1)，求解Homegraph矩陣方程SM＝D，得到兩鏡頭的矩陣映射關(guān)系矩陣M；

圖像融合裁剪模塊工作原理為：在求解得到兩鏡頭的映射矩陣，可按一般的處理方法，對(duì)圖像進(jìn)行拼接處理。

2.如權(quán)利要求1所述的一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，其特征在于：跨鏡頭的前景匹配模塊對(duì)對(duì)需要拼接的兩鏡頭A和B按如下方式進(jìn)行計(jì)算：

1)以鏡頭A中靠近邊界的某行或列(設(shè)為R_A)為中心，往前后各取若干幀，以各行或列的的前景點(diǎn)比率作為各分量，形成一向量a；

2)對(duì)鏡頭A中各視頻幀，判斷向量a是否需要保留，判別規(guī)則是該向量中前景點(diǎn)比率值，與上一次保存的前景點(diǎn)比率值要出現(xiàn)交錯(cuò)；

3)若需保留，則將向量a保存為a_t(t表示為第t幀)，并存儲(chǔ)于V_A中；同時(shí)對(duì)鏡頭B中各行或各列，按以上規(guī)則形成多個(gè)向量b_1t，b_2t，b_3t，.......，b_nt(n表示以第n行或列為中心，t表示為第t幀)，并將各向量存儲(chǔ)于V_B中；

4)在V_A中存儲(chǔ)的向量，超過(guò)給定閾值后(如200)，則綜合V_B中向量進(jìn)行計(jì)算，得到鏡頭B中與A中R最為匹配的行或列R_B，將R_B作為匹配上的結(jié)果，從而得到兩鏡頭的重疊區(qū)域。