[發(fā)明專利]基于雙MIC的OpenCL并行幀率上轉(zhuǎn)換方法

有效

• 申請?zhí)枺?/td>: 201710490906.X
• 申請日: 2017-06-23
• 公開（公告）號: CN107172426B
• 公開（公告）日: 2019-10-11
• 發(fā)明（設(shè)計）人: 朱虎明;王朵;焦李成;鹿樂;田小林;張小華;侯彪;關(guān)云輝;焦文
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/139;H04N19/176;H04N19/513;H04N19/59;H04N7/01
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 韋全生;王品華

本發(fā)明提出了一種基于雙MIC的OpenCL并行幀率上轉(zhuǎn)換方法，在保證圖像質(zhì)量的前提下，有效縮短幀率上轉(zhuǎn)換的運(yùn)行時間，提高幀率上轉(zhuǎn)換的運(yùn)行效率。實(shí)施步驟為：主線程對OpenCL設(shè)備的MIC1和MIC2進(jìn)行初始化；主線程對讀入的視頻進(jìn)行編號；主線程定義信號量并初始化；主線程在主機(jī)上開辟內(nèi)存并創(chuàng)建子線程1和子線程2；子線程1控制MIC1，執(zhí)行運(yùn)動估計算法，同時子線程2控制MIC2，執(zhí)行運(yùn)動補(bǔ)償算法，實(shí)現(xiàn)視頻幀率的上轉(zhuǎn)換；主線程關(guān)閉子線程1和子線程2。本發(fā)明有效地提高了算法的運(yùn)行效率，可用于視頻幀率上轉(zhuǎn)換領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，涉及一種OpenCL并行幀率上轉(zhuǎn)換方法，具體涉及一種基于雙MIC的OpenCL并行幀率上轉(zhuǎn)換方法，適用于視頻幀率上轉(zhuǎn)換等領(lǐng)域。

背景技術(shù)

近年來，視頻領(lǐng)域的新技術(shù)不斷涌現(xiàn)，通過增加視頻的分辨率和提高視頻的幀率等技術(shù)手段，已帶給人們更清晰、更具沖擊力的視覺感受。比如從原先的標(biāo)清視頻，到現(xiàn)在的高清視頻，甚至超高清的4K視頻。現(xiàn)如今4K視頻源也越來越多，已經(jīng)逐漸進(jìn)入到人們的視野當(dāng)中，預(yù)示著人們對于視頻畫面的清晰度要求也更高了。2016年11月李安導(dǎo)演的新作《比利·林恩的中場戰(zhàn)事》，首次嘗試了“120幀/4K/3D”(每秒播放120幀、4K分辨率、3D效果)的技術(shù)，以每秒120幀高幀率的播放方式開創(chuàng)了電影技術(shù)的新法則，引起了業(yè)界的廣泛關(guān)注。

視頻幀率上轉(zhuǎn)換技術(shù)(FRUC)，作為一種視頻后處理手段，通過在原有視頻幀中插入中間幀的方式，將低幀率視頻轉(zhuǎn)換成高幀率視頻。最早在20世紀(jì)80年代在業(yè)界就出現(xiàn)了幀率轉(zhuǎn)換的技術(shù)，線性內(nèi)插幀被采用來執(zhí)行幀率上轉(zhuǎn)換算法，其中包括幀復(fù)制和幀平均，隨后發(fā)展越來越成熟。90年代中期提出了基于運(yùn)動補(bǔ)償?shù)囊曨l幀率上轉(zhuǎn)換技術(shù)，這種技術(shù)對運(yùn)動的物體首先進(jìn)行運(yùn)動估計算法，盡可能獲得接近真實(shí)運(yùn)動的矢量場。它以塊或者像素點(diǎn)為單位，不同的塊得到的矢量很可能不一樣，所以包含了運(yùn)動物體的各個部分，得到的矢量是比較精確的。然后根據(jù)得到的運(yùn)動矢量，進(jìn)行運(yùn)動補(bǔ)償模塊的計算，即根據(jù)原始的視頻幀和上一步得到的運(yùn)動矢量通過插值的方式獲得待插幀。

隨著視頻圖像從高清到超高清的邁進(jìn)，以及高幀率視頻的出現(xiàn)，使得處理視頻的圖像大小和幀數(shù)都有了極大的增長。圖像規(guī)模的增大，算法復(fù)雜度的提高，使得原先算法處理的時間大大增加，無法滿足迅速處理甚至實(shí)時的要求。因此，研究如何加速幀率上轉(zhuǎn)換算法已成為當(dāng)今比較迫切的問題之一。

Intel在2012年發(fā)布了Intel Xeon Phi協(xié)處理器，它是一款基于集成眾核架構(gòu)MIC(Many Intergrated Cores)的至強(qiáng)融合產(chǎn)品。該協(xié)處理器集成了50個以上的計算核心，并且具備了512bit的向量處理單元(VPU)。Intel MIC眾核架構(gòu)的硬件既保留了CPU中的多級流水線，同時又配備了眾多的計算核心，每個計算核心又可以并發(fā)執(zhí)行4個線程，這就保證了MIC具有同時處理多個任務(wù)的優(yōu)勢。2015年焦文在碩士論文中提出了在MIC架構(gòu)上的并行運(yùn)動估計和并行運(yùn)動補(bǔ)償方法，該方法利用OpenMP的fork-join模型，將運(yùn)動估計的每個塊求解運(yùn)動矢量的過程放在MIC每個線程執(zhí)行，運(yùn)動補(bǔ)償模塊的每個像素點(diǎn)放在MIC每個線程執(zhí)行。該方法雖然獲得了一定的加速效果，但是，并沒有研究在雙MIC上如何實(shí)現(xiàn)視頻幀率上轉(zhuǎn)換。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對上述已有技術(shù)的不足，提出了一種基于雙MIC的OpenCL并行幀率上轉(zhuǎn)換方法，在保證圖像質(zhì)量的前提下，有效縮短幀率上轉(zhuǎn)換的運(yùn)行時間，提高幀率上轉(zhuǎn)換的運(yùn)行效率。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案包括有如下步驟：

(1)主線程對OpenCL設(shè)備的MIC1和MIC2進(jìn)行初始化，實(shí)現(xiàn)主機(jī)端對MIC設(shè)備的控制；

(2)主線程對讀入的視頻進(jìn)行編號：主線程讀入N幀視頻，并對運(yùn)動估計算法中視頻當(dāng)前幀的圖像編號為i，初始化i＝1，同時對運(yùn)動補(bǔ)償算法中視頻當(dāng)前幀的圖像編號為j，初始化j＝1，其中，i的取值范圍是[1,N],j的取值范圍是[1,N]；