[發(fā)明專利]將高分辨率視頻流自動實(shí)時幀分割成組成特征并修改各個幀中的特征以同時創(chuàng)建來自相同的視頻源的多個不同線性視圖的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201980039313.9
• 申請日: 2019-02-06
• 公開（公告）號: CN112262570A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: E·克里奧斯·夏皮拉;A·Z·Y·厄爾巴姆
• 申請（專利權(quán)）人: E·克里奧斯·夏皮拉;A·Z·Y·厄爾巴姆
• 主分類號: H04N5/45
• 分類號: H04N5/45;H04N21/2343;H04N21/236;H04N21/845;H04N21/44
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王小東;黃綸偉

一種方法，被編程的計(jì)算機(jī)系統(tǒng)，例如，基于網(wǎng)絡(luò)的硬件設(shè)備，以及包含軟件程序的機(jī)器可讀介質(zhì)，所述軟件程序用于實(shí)時地、無可見延遲地修改高清晰度視頻數(shù)據(jù)流，以在逐幀的基礎(chǔ)上添加內(nèi)容，從而同時合成多個不同的定制的線性視圖，用于諸如實(shí)時地創(chuàng)建并廣播目標(biāo)廣告的目的。該方法以新穎且有創(chuàng)造性的方式采用常規(guī)視頻處理技術(shù)，以通過在計(jì)算機(jī)的GPU與CPU之間來回傳遞由程序選擇的數(shù)據(jù)來實(shí)現(xiàn)期望的目標(biāo)。該方法還可用于期望實(shí)時處理的具有低于高清晰度的數(shù)據(jù)流，并產(chǎn)生比常規(guī)方法更好的結(jié)果。在這些應(yīng)用中，所有處理可以由足夠強(qiáng)大的通用計(jì)算機(jī)的CPU來完成。

技術(shù)領(lǐng)域

在本發(fā)明的一些實(shí)施方式中，本發(fā)明涉及對高清晰度視頻數(shù)據(jù)的處理，并且更具體地但非排他地，涉及如下裝置和方法，所述裝置和方法用于通過從高分辨率幀提取顏色映射信息并按所提取的顏色圖的級別執(zhí)行幀修改來在逐幀的基礎(chǔ)上修改一個或更多個高清晰度視頻數(shù)據(jù)流以向其添加內(nèi)容，從而同時創(chuàng)建來自相同的原始視頻流源的多個不同的同步線性視圖，同時保持所述源原封不動(intact)以供將來使用。本發(fā)明還涉及包含用于實(shí)現(xiàn)本發(fā)明的其它方面的軟件的非易失性機(jī)器可讀介質(zhì)。

本發(fā)明具有各種應(yīng)用，但是將在用于在逐幀的基礎(chǔ)上實(shí)時地(即，在個體幀的呈現(xiàn)持續(xù)時間內(nèi))將附加內(nèi)容(例如，目標(biāo)廣告)添加到高清晰度視頻數(shù)據(jù)流的系統(tǒng)和方法的特定上下文中描述本發(fā)明。

出于在本文討論的目的，當(dāng)圖像分辨率(包括視頻幀分辨率)至少為1920像素×1080行(2.1百萬像素，縱橫比16：9)的HD分辨率時，該圖像分辨率被認(rèn)為是高的。

背景技術(shù)

計(jì)算機(jī)化的視頻創(chuàng)建和編輯以及現(xiàn)場視頻傳輸在許多方面是確立已久的和成熟的技術(shù)。市場上可獲得的應(yīng)用和相關(guān)支持(諸如，可從紐約市和OBS工作室公司(Inc.of NewYork City and OBS Studio)Videolicious獲得的一種開源系統(tǒng))允許現(xiàn)場實(shí)時創(chuàng)建來自多個源的視頻流。在這方面，這是后期制作編輯隨后延遲傳輸?shù)奶娲桨浮＿€存在允許甚至使用智能電話作為輸入源來創(chuàng)建合成視頻流的其它應(yīng)用。

能夠?qū)指畛善浣M成特征的圖形處理方法和視頻編輯程序在本領(lǐng)域中也是已知的。這種幀處理方法依賴于像素之間關(guān)系的計(jì)算，這由適當(dāng)編程的計(jì)算機(jī)的中央處理單元(CPU)和圖形處理單元(GPU)來完成。顏色分割是一種這樣的組成特征。例如，參見Zitnick等人的“High-Quality Video View Interpolation Using a LayeredRepresentation”，由華盛頓州雷德蒙市的微軟研究的交互視覺媒體小組開發(fā)的用于現(xiàn)場視頻流的觀看者視點(diǎn)控制的應(yīng)用。

然而，已知的方法需要大量計(jì)算時間，計(jì)算時間根據(jù)幀大小指數(shù)地增加，從而使這些方法不適合高分辨率視頻流的實(shí)時幀處理，尤其是在低功率電子設(shè)備上。

還已知能夠?qū)械念A(yù)選區(qū)域進(jìn)行像素修改的視頻編輯程序。這樣的幀處理方法順序地應(yīng)用所選擇的幀處理，從而將各個連續(xù)的修改應(yīng)用于其前任(predecessor)的結(jié)果。然而，該過程需要使用程序手動編輯和合成視頻中的各個幀，這是一個長期且昂貴的后期制作專業(yè)過程。

還已知在對所有流出流執(zhí)行相同的幀修改的同時重新流傳輸視頻的流傳輸服務(wù)器，以及執(zhí)行相同操作的用于廣播視頻的電視編輯表和其它專門設(shè)計(jì)的設(shè)備。

還已知電視機(jī)頂盒和基于互聯(lián)網(wǎng)協(xié)議的播放器，其可以覆蓋圖形以便觀看者創(chuàng)建統(tǒng)一的視頻視圖。

然而，發(fā)明人不知道基于幀分割或任何其它策略來提供實(shí)時高分辨率幀內(nèi)容修改以在廣播源同步地產(chǎn)生來自相同輸入視頻流的多個不同地定制的視頻的現(xiàn)有技術(shù)的解決方案。本發(fā)明試圖滿足這種需求，并且代表了用于視頻流編輯應(yīng)用的計(jì)算機(jī)功能的顯著改進(jìn)。

發(fā)明內(nèi)容