[發(fā)明專利]全景視頻圖像處理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010039574.5
• 申請(qǐng)日: 2020-01-15
• 公開（公告）號(hào): CN111225221B
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計(jì)）人: 李輝
• 申請(qǐng)（專利權(quán)）人: 未來新視界文化科技（嘉善）有限公司
• 主分類號(hào): H04N21/218
• 分類號(hào): H04N21/218;H04N5/265;G06T3/40
• 代理公司: 北京愛普納杰專利代理事務(wù)所(特殊普通合伙) 11419
• 代理人: 何自剛

本發(fā)明公開了一種全景視頻圖像處理方法和裝置，依據(jù)均布在360⁰空間優(yōu)化位置上的攝像頭的初設(shè)參數(shù)，獲取多重重疊區(qū)域集合，獲取相鄰兩個(gè)攝像機(jī)的光場(chǎng)，將所述光場(chǎng)按特定焦距調(diào)焦形成的兩幅圖像分別匹配,獲得匹配圖像的像素對(duì)應(yīng)關(guān)系，遍歷并獲得所有相鄰的攝像機(jī)圖像的匹配位置對(duì)應(yīng)關(guān)系集合；遍歷多重重疊區(qū)域集合，根據(jù)匹配位置對(duì)應(yīng)關(guān)系集合計(jì)算對(duì)應(yīng)的光場(chǎng)數(shù)值，形成一幀光場(chǎng)的全景拼接，攝像結(jié)束后生成全景式光場(chǎng)視頻。本發(fā)明還提供一種全景視頻圖像處理裝置，通過本方法及裝置，拼接形成畫面自然、流暢、清晰、完整場(chǎng)視頻，可以隨意調(diào)速、調(diào)焦，清晰觀看局部畫面及全景畫面，且有效改善了視頻播放的卡滯現(xiàn)象。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，尤其涉及一種全景視頻圖像處理方法和裝置。

背景技術(shù)

視頻拼接技術(shù)已應(yīng)用到很多領(lǐng)域，一方面應(yīng)用在交通行業(yè)的視頻實(shí)時(shí)監(jiān)控領(lǐng)域，主要針對(duì)攝像機(jī)位置相對(duì)固定、攝像機(jī)擺放位置貼近體面的交通監(jiān)控視頻的拼接上；另一方面，應(yīng)用到飛行器搭載攝像頭360度全景拍攝如山川湖泊、名勝古跡、重要地理特征等無遮擋、視野廣的全景圖像。但目前，攝像頭360度拍攝多使用普通攝像頭安裝在球面上拍攝，然后對(duì)視頻進(jìn)行單幀圖像的拼接，拼接處理后視頻的焦距不能改變，即對(duì)視頻的清晰程度完全取決于當(dāng)時(shí)攝像頭拍攝的效果，因此，造成了拼接后的360度全景視頻不能滿足所有畫面均清晰可見的視覺效果，同時(shí)，由于全景視頻大不能流暢地播放。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種全景視頻圖像處理方法和裝置，通過將光場(chǎng)攝像機(jī)均布在360°空間優(yōu)化位置上進(jìn)行全景拍攝，對(duì)拍攝的光場(chǎng)圖像逐幀全景拼接，生成全景式光場(chǎng)視頻，通過碼流控制模塊，使得光場(chǎng)視頻播放畫面自然、流暢、清晰、完整，通過該處理方法和裝置不僅能夠獲得速度可調(diào)、焦距可調(diào)的清晰的局部及全景視頻，而且確保了光場(chǎng)視頻播放的質(zhì)量，滿足了觀眾的觀看需求。

本發(fā)明提供的具體技術(shù)方案如下：

一種全景視頻圖像處理方法，包括如下步驟：

步驟1：依據(jù)布置在空間優(yōu)化位置上的攝像機(jī)的初設(shè)參數(shù)，獲取兩兩相鄰攝像機(jī)成像的重疊區(qū)域；獲取由多個(gè)攝像機(jī)成像形成的多重重疊區(qū)域集合，并獲取每個(gè)攝像機(jī)對(duì)所述重疊區(qū)域的影響權(quán)重；

步驟2：獲取由多個(gè)攝像機(jī)同步拍攝的一幀光場(chǎng)圖像的數(shù)據(jù)，獲取其中相鄰兩個(gè)攝像機(jī)的光場(chǎng)，將兩個(gè)光場(chǎng)分別按最大焦距f_max、最小焦距f_min獲得圖像、及獲得細(xì)節(jié)最豐富的圖像,將兩幅圖像分別匹配,獲得匹配圖像的像素對(duì)應(yīng)關(guān)系；

步驟3：通過形心計(jì)算獲取最大焦距f_max、最小焦距f_min、細(xì)節(jié)最豐富時(shí)的焦距f_HD下的加權(quán)位置對(duì)應(yīng)關(guān)系；

步驟4：遍歷并獲得所有相鄰的攝像機(jī)圖像的匹配位置對(duì)應(yīng)關(guān)系集合；

步驟5：遍歷多重重疊區(qū)域集合，根據(jù)匹配位置對(duì)應(yīng)關(guān)系集合計(jì)算對(duì)應(yīng)的光場(chǎng)數(shù)值，形成一幀光場(chǎng)的全景拼接；

步驟6：對(duì)每一幀光場(chǎng)圖像均進(jìn)行全景拼接，攝像結(jié)束后生成全景式光場(chǎng)視頻。

優(yōu)選地，所述步驟1還包括步驟1-1：所述攝像機(jī)均布在360°空間的優(yōu)化位置上，按照由左上攝像機(jī)起始，順時(shí)針原則計(jì)算兩兩相鄰攝像機(jī)成像的重疊區(qū)域，并按要求擴(kuò)展所述重疊區(qū)域。

優(yōu)選地，所述步驟1還包括步驟1-2：按照由外向內(nèi)的方式計(jì)算多重重疊區(qū)域，獲得重疊區(qū)域集合，并得到每個(gè)攝像機(jī)對(duì)所述重疊區(qū)域的影響權(quán)重。

優(yōu)選地，所述步驟2還包括：獲得細(xì)節(jié)最豐富的圖像的步驟包括：步驟2-1：將兩個(gè)光場(chǎng)攝像機(jī)的光場(chǎng)由最小焦距f_min到最大焦距f_max階梯式調(diào)焦，獲取兩個(gè)光場(chǎng)下焦距f的調(diào)焦圖像，對(duì)兩個(gè)調(diào)焦圖像在重疊區(qū)域中進(jìn)行邊緣特性分析和圖像紋理分析，并計(jì)算細(xì)節(jié)豐富因子的值；