[發(fā)明專利]一種拼接類全景視頻的基準(zhǔn)視場確定方法、系統(tǒng)及設(shè)備

有效

• 申請?zhí)枺?/td>: 201110221223.7
• 申請日: 2011-08-03
• 公開（公告）號: CN102314686A
• 公開（公告）日: 2012-01-11
• 發(fā)明（設(shè)計）人: 裴繼紅;謝維信;楊烜
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 深圳市威世博知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何青瓦

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種拼接類全景視頻的基準(zhǔn)視場確定方法、系統(tǒng)及設(shè)備。

背景技術(shù)

目前，實時全景視頻的生成一般采取兩類方式：第一類是利用廣角鏡頭或全景反射光學(xué)鏡頭生成全景視頻；第二類是利用多個攝像機獲取的多個視角的視頻經(jīng)過變換、拼接、融合為一個包含各視角視頻內(nèi)容的大視場全景視頻。

其中，在第二類方式中，將處于一個近似成像平面上的多攝像機組成攝像機陣列，將陣列中的攝像機置于方向基本一致的前視狀態(tài)，陣列中相鄰攝像機之間的視場具有一定的重疊，則陣列中的全部攝像機的視場可組成一個高分辨的大視場。要將這樣一個攝像機陣列中各個攝像機的視頻實時拼接起來組成一個實時全景視頻，一般來說又有兩種方法。其中第一種方法是采用全人工的方式，這類方式對陣列中各攝像機之間的參數(shù)一致性要求非常高，人工調(diào)校的難度非常大；第二種方法是采用計算機自動學(xué)習(xí)全景拼接參數(shù)，并完成視頻全景的自動拼接。在第二種方法中一般只需要操作人員將陣列中的每個攝像機的視場置于一個基本一致的平面上，并將相鄰攝像機之間的視場粗略調(diào)校到有一定的重疊，而其它的任務(wù)則由計算機自動完成。

上述第二種方法在進行陣列全景視頻自動拼接過程中存在一個關(guān)鍵問題：基準(zhǔn)視場的選取問題。在上述自由攝像機陣列全景視頻的拼接中，陣列中各攝像機的視場一般不會在一個嚴(yán)格的平面上，視場之間的重疊區(qū)域也是事先未定標(biāo)的，因此在攝像機陣列全景視頻生成時，需要選定某一個攝像機視場所在的坐標(biāo)系作為基準(zhǔn)的全景參考坐標(biāo)系，而將陣列中的其它攝像機的視場通過空間投影變換到該參考坐標(biāo)系下，然后利用融合技術(shù)生成全景視頻。上述作為基準(zhǔn)的參考坐標(biāo)系是陣列中某個攝像機的視場坐標(biāo)系，因此也稱該坐標(biāo)系為基準(zhǔn)視場。

在攝像機陣列中，基準(zhǔn)視場的選擇對全景視頻的生成質(zhì)量影響較大。一般來說，選擇不同的基準(zhǔn)視場，在生成全景視頻時由各個攝像機視場對基準(zhǔn)視場投影變換后產(chǎn)生的視場誤差也不相同。若整體的誤差越小則生成的全景視頻的質(zhì)量越好。因此，如何選擇誤差最小的基準(zhǔn)視場是攝像機陣列全景視頻拼接中的一個關(guān)鍵問題之一。

在攝像機陣列全景視頻生成中，現(xiàn)有的技術(shù)通常是人為地在攝像機陣列中選取其中一個攝像機的視場作為基準(zhǔn)視場，其它視場按照映射關(guān)系投影變換到該基準(zhǔn)視場的坐標(biāo)系中。這種基準(zhǔn)視場的人為選擇方法在攝像機陣列規(guī)模較小時效果尚可，但在攝像機陣列較大時，由于陣列中的每個攝像機的視場都具有一定的自由性，因此，人為選出的基準(zhǔn)視場往往并非最佳的基準(zhǔn)視場。

總之，現(xiàn)有技術(shù)中針對攝像機陣列全景視頻拼接中最優(yōu)基準(zhǔn)視場的自動選取尚沒有一個較好的解決方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于提供一種拼接類全景視頻的基準(zhǔn)視場確定方法，旨在通過攝像機陣列生成全景視頻時選擇最優(yōu)的基準(zhǔn)視場，提高拼接類全景視頻的整體質(zhì)量。

本發(fā)明是這樣實現(xiàn)的，一種拼接類全景視頻的基準(zhǔn)視場確定方法，包括下述步驟：

步驟A，在預(yù)拼接視頻的攝像機陣列中，對每一個攝像機找出與其具有公共重疊視場的鄰接攝像機子集合，并計算每一個攝像機視場與其鄰接子集合中的各個攝像機視場的投影變換矩陣；

步驟B，于所述攝像機陣列中選取攝像機i，根據(jù)步驟A得到的每個攝像機的鄰接攝像機子集合及其投影變換矩陣，將所述攝像機陣列中的其他攝像機的視場均通過最少次數(shù)的投影變換處理變換到選取的攝像機i的投影視場，并計算其他攝像機的視場在變換前后的幾何形變度量之和δ_i；

步驟C，按照i為1至n的順序重復(fù)步驟B，得到n個幾何形變度量之和，在選取過的n個攝像機中，將與其中最小的幾何形變度量之和相對應(yīng)的攝像機的視場確定為基準(zhǔn)視場；其中n為所述的攝像機陣列中攝像機的數(shù)量。

進一步地，所述步驟B具體包括下述步驟：

步驟B1，由每個攝像機的鄰接子集合，構(gòu)造描述攝像機陣列的視場連通關(guān)系的視場鄰接關(guān)系圖；所述視場鄰接關(guān)系圖中包括若干節(jié)點和連接在節(jié)點之間的連接線，其中每一個節(jié)點表示所述攝像機陣列中的一個攝像機視場，之間具有連接線的兩個節(jié)點表示所代表的兩個攝像機的視場相鄰接；

步驟B2，在步驟B1中得到的視場鄰接關(guān)系圖中，任意選取其中的一個節(jié)點作為當(dāng)前根節(jié)點，生成該當(dāng)前根節(jié)點的單源最短路徑樹；在所述單源最短路徑樹中，任一非根節(jié)點均可經(jīng)過最少的節(jié)點與當(dāng)前根節(jié)點直接或間接相連通；

步驟B3，根據(jù)每一個攝像機視場與其鄰接子集合中的各個攝像機視場的投影變換矩陣，計算所述單源最短路徑樹中的任一非根節(jié)點到當(dāng)前根節(jié)點的投影變換矩陣；