[發(fā)明專利]一種基于多GPU的全景實時視頻流處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201710256848.4
• 申請日: 2017-04-19
• 公開（公告）號: CN107027042B
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計）人: 呂相文;呂東岳;楊陽朝;廖勇;謝海永
• 申請（專利權(quán)）人: 中國電子科技集團公司電子科學(xué)研究院
• 主分類號: H04N21/218
• 分類號: H04N21/218;H04N7/18;H04N5/265
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 齊潔茹

本發(fā)明提出了一種基于多GPU的全景實時視頻流處理方法及裝置，包括：并行獲取多路待拼接視頻圖像，得到當(dāng)前批次視頻圖像，其中每路待拼接視頻圖像中的每一幀視頻圖像均有幀標(biāo)記；將所述當(dāng)前批次視頻圖像分配至多個GPU中，其中，將屬于同一幀標(biāo)記的多路視頻圖像分配至同一個GPU中進(jìn)行拼接；獲取當(dāng)前批次拼接后的視頻圖像，將所述拼接后的視頻圖像按照所述幀標(biāo)記進(jìn)行排序并推送。本發(fā)明中對于每一幀視頻圖像的全景拼接計算始終在一塊GPU中執(zhí)行，這種方式減少了拼接計算與GPU數(shù)量的依賴，并且該方法可以很容易拓展到任意數(shù)量的GPU計算平臺中，實現(xiàn)多GPU架構(gòu)并發(fā)運算，解決了高分辨率拼接運算不及時的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于多GPU的全景實時視頻流處理方法及裝置。

背景技術(shù)

伴隨著計算機、電子技術(shù)的迅速發(fā)展，整個處理器計算速度和存儲量都有飛速增加，逐步滿足計算機視覺技術(shù)的實現(xiàn)。圖像拼接技術(shù)作為圖像處理、計算機視覺的一個重要研究方向，已廣泛應(yīng)用于機器人視覺系統(tǒng)、醫(yī)學(xué)圖像處理、監(jiān)控視頻等領(lǐng)域。

關(guān)于高分辨率視頻圖像拼接過程中，均需對圖像系列進(jìn)行圖像配準(zhǔn)、最佳縫合線搜索、融合等步驟最終形成一張無縫的大視場圖像。單幀視頻圖像拼接計算量較大，大多采用并行計算的方法進(jìn)行加速。目前在單塊高性能的GPU 上可以實現(xiàn)4K(4096*2048)分辨率的全景視頻的實時拼接的質(zhì)量。但是，在全景播放器中，即使4K的全景視頻，用戶視窗在某一個視角只是顯示全景的一部分，因此視窗中的分辨率只有大約4K的六分之一。當(dāng)在全景視窗中的分辨率達(dá)到2K或者更高時，全景的分辨率會達(dá)到12K，甚至16K。目前，國內(nèi)外單塊GPU的全景視頻實時拼接尚未支持12K～16K甚至更高的分辨率。多 GPU的協(xié)同拼接計算成為解決高分辨率視頻圖像實時拼接的途徑之一。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明提供了一種基于多GPU的全景實時視頻流處理方法及裝置。

本發(fā)明提供的基于多GPU的全景實時視頻流處理方法，包括以下步驟：

并行獲取多路待拼接視頻圖像，得到當(dāng)前批次視頻圖像，其中每路待拼接視頻圖像中的每一幀視頻圖像均帶有幀標(biāo)記；

將屬于同一幀標(biāo)記的多路視頻圖像分配至同一GPU，將所述當(dāng)前批次視頻圖像分配至多個GPU中，同時獲取下一批次視頻圖像；

獲取當(dāng)前批次拼接后的視頻圖像，將所述拼接后的視頻圖像按照所述幀標(biāo)記進(jìn)行排序并推送。

本發(fā)明還提供了一種基于多GPU的全景實時視頻流處理裝置，包括：

所述獲取模塊，用于并行獲取多路待拼接視頻圖像，得到當(dāng)前批次視頻圖像，其中每路待拼接視頻圖像中的每一幀視頻圖像均帶有幀標(biāo)記；

所述分配模塊，用于將屬于同一幀標(biāo)記的多路視頻圖像分配至同一GPU，將所述當(dāng)前批次視頻圖像分配至多個GPU中；

所述排序模塊，用于獲取當(dāng)前批次拼接后的視頻圖像，將所述拼接后的視頻圖像按照所述幀標(biāo)記進(jìn)行排序并推送。

本發(fā)明有益效果如下：

本發(fā)明實施例中對于每一幀視頻圖像的全景拼接計算始終在一塊GPU中執(zhí)行，這種方式減少了拼接計算與GPU數(shù)量的依賴，并且該方法可以很容易拓展到任意數(shù)量的GPU計算平臺中，同時采用GPU/CUDA并行處理技術(shù)，通過對GPU的擴展，實現(xiàn)多GPU架構(gòu)并發(fā)運算，解決了高分辨率拼接運算不及時的問題，可以實時完成拼接融合與編碼。

附圖說明

圖1是本發(fā)明方法實施例的基于多GPU的全景實時視頻流處理方法的流程圖；

圖2是本發(fā)明裝置實施例的基于多GPU的全景實時視頻流處理裝置的結(jié)構(gòu)示意圖；

圖3為實例1中每批次的視頻數(shù)據(jù)處理的流程；