[發(fā)明專(zhuān)利]一種實(shí)時(shí)校正拼接防抖的實(shí)現(xiàn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910218150.2
• 申請(qǐng)日: 2019-03-21
• 公開(kāi)（公告）號(hào): CN111726566A
• 公開(kāi)（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 周正華;周益安
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海飛猿信息科技有限公司
• 主分類(lèi)號(hào): H04N7/18
• 分類(lèi)號(hào): H04N7/18;H04N5/265;H04N5/21
• 代理公司: 上海宏京知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31297
• 代理人: 鄧文武

本發(fā)明提供一種實(shí)時(shí)校正拼接防抖的實(shí)現(xiàn)方法，涉及嵌入式領(lǐng)域，所述方法包括以下步驟：S1：利用CPU采集外部輸入數(shù)據(jù)，所述外部輸入數(shù)據(jù)包括三種，分別是拼接源、位姿信息、LUT；S2：利用LUT進(jìn)行魚(yú)眼展開(kāi)和球面建模；S3：利用GPU進(jìn)行貼圖渲染，所述貼圖渲染包括拼縫融合、雙線性插值、色度空間降轉(zhuǎn)、姿態(tài)融合；S4：利用VPU進(jìn)行編碼輸出，利用CPU進(jìn)行推流；S5：按照全景視頻或者圖像的需求，進(jìn)行循環(huán)迭代。本發(fā)明綜合CPU、GPU、VPU、陀螺儀等與VR相關(guān)的公共屬性，針對(duì)通用手持設(shè)備的芯片進(jìn)行系統(tǒng)級(jí)的優(yōu)化，在實(shí)現(xiàn)實(shí)時(shí)拼接的同時(shí)做到防抖補(bǔ)償、編碼輸出和推流，適用于一般全景模式的拼接或者是3D模式的拼接。

技術(shù)領(lǐng)域

本發(fā)明涉及嵌入式領(lǐng)域，尤其涉及一種實(shí)時(shí)校正拼接防抖的實(shí)現(xiàn)方法。

背景技術(shù)

隨著VR(虛擬現(xiàn)實(shí))的興起，怎樣使得最常用的手持設(shè)備支持VR全景的生成和輸出成為熱門(mén)的研究問(wèn)題。傳統(tǒng)的VR全景生成和輸出是基于SIFT算法進(jìn)行CPU(通用計(jì)算處理單元)級(jí)別的常規(guī)運(yùn)算得到的，且常用的電腦基本不能做到實(shí)時(shí)拼接運(yùn)算，這極大的限制了VR全景設(shè)備的應(yīng)用和推廣。

常用的拼接融合是在數(shù)據(jù)采集后通過(guò)高性能服務(wù)器在后臺(tái)進(jìn)行的線下拼接，此種拼接方式非常耗時(shí)，但是這樣非實(shí)時(shí)的方式可以做出拼接后的全景，此種拼接方式是將數(shù)據(jù)采集、拼接運(yùn)算、編碼、推流等分離開(kāi)來(lái)；為了應(yīng)對(duì)實(shí)時(shí)拼接的需求，將采集的數(shù)據(jù)上傳到服務(wù)器上，在云上采用高性能服務(wù)器進(jìn)行后臺(tái)接近實(shí)時(shí)的拼接運(yùn)算、編碼、推流，最后將拼接結(jié)果發(fā)送給用戶，此方式在數(shù)據(jù)的上傳、云上的運(yùn)算都是存在延時(shí)的，所有雖然是端到端的方式，但是端到端的延時(shí)也非常長(zhǎng)，且整個(gè)系統(tǒng)較為復(fù)雜。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種實(shí)時(shí)校正拼接防抖的實(shí)現(xiàn)方法，用于解決實(shí)時(shí)拼接的問(wèn)題，綜合CPU(通用計(jì)算處理單元)、GPU(圖像處理單元)、VPU(視頻處理單元)、陀螺儀等與VR相關(guān)的公共屬性，針對(duì)通用手持設(shè)備的芯片進(jìn)行系統(tǒng)級(jí)的優(yōu)化，在實(shí)現(xiàn)實(shí)時(shí)拼接的同時(shí)做到防抖補(bǔ)償、編碼輸出和推流。

本發(fā)明提供一種實(shí)時(shí)校正拼接防抖的實(shí)現(xiàn)方法，所述方法包括以下步驟：

S1：利用CPU采集外部輸入數(shù)據(jù)，所述外部輸入數(shù)據(jù)包括三種，分別是拼接源、位姿信息、LUT；

S2：利用LUT進(jìn)行魚(yú)眼展開(kāi)和球面建模；

S3：利用GPU進(jìn)行貼圖渲染，所述貼圖渲染包括拼縫融合、雙線性插值、色度空間降轉(zhuǎn)、姿態(tài)融合；

S4：利用VPU進(jìn)行編碼輸出，利用CPU進(jìn)行推流；

S5：按照全景視頻或者圖像的需求，進(jìn)行循環(huán)迭代；

進(jìn)一步的，所述拼接源為視頻或圖像，所述視頻和圖像為2～N個(gè)攝像頭的輸出數(shù)據(jù)或本地的存儲(chǔ)數(shù)據(jù)；所述位姿信息為能夠提供三維位姿信息設(shè)備的輸出數(shù)據(jù)；所述LUT為自行標(biāo)定后的輸出數(shù)據(jù)或第三方工具的生成數(shù)據(jù)，是特征匹配后用來(lái)展開(kāi)具體位置的查找表。

進(jìn)一步的，所述貼圖渲染包括以下步驟：

步驟3.1：根據(jù)外部輸入數(shù)據(jù)，對(duì)GPU進(jìn)行初始化；

步驟3.2：根據(jù)定制頂點(diǎn)著色器來(lái)計(jì)算球面XYZ坐標(biāo)、2～N個(gè)拼接源的UV坐標(biāo)、頂點(diǎn)順序坐標(biāo)，并對(duì)拼接源進(jìn)行拼接融合；

步驟3.3：根據(jù)定制片元著色器來(lái)對(duì)拼接源進(jìn)行加權(quán)處理、雙線性插值處理，并配置YUV空間到RGB空間的變換矩陣，將每一幀的YUV數(shù)據(jù)，轉(zhuǎn)換成適合LCD顯示的RGB數(shù)據(jù)；

步驟3.4：根據(jù)輸入的位姿信息，基于配置好的防抖補(bǔ)償矩陣，進(jìn)行姿態(tài)融合，得到最終投影。

進(jìn)一步的，所述雙線性插值的每個(gè)新的UV坐標(biāo)位置(u,v)和周?chē)膫€(gè)位置(u1,v1)，(u1,v2)，(u2,v1)，(u2,v2)進(jìn)行浮點(diǎn)運(yùn)算得到。