[發(fā)明專利]基于HEVC核心模塊的并行解碼方法、裝置及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011159992.4
• 申請(qǐng)日: 2020-10-27
• 公開(kāi)（公告）號(hào): CN112468821B
• 公開(kāi)（公告）日: 2023-02-10
• 發(fā)明（設(shè)計(jì)）人: 胡棟;馬浩;李毅
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): H04N19/44
• 分類號(hào): H04N19/44;H04N19/70;H04N19/91;H04N19/96;H04N19/172;G06F9/50
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 錢玲玲

1.一種基于多核處理器的HEVC核心模塊融合的并行解碼方法，其特征在于，包括以下步驟：

步驟1：主線程進(jìn)行初始化操作，包括初始化HEVC解碼器，申請(qǐng)寄存器單元，初始化緩存，初始化解碼任務(wù)隊(duì)列，置空任務(wù)隊(duì)列；

步驟2：讀入HEVC編碼的序列碼流，調(diào)用網(wǎng)絡(luò)適配層NAL解析函數(shù)，解析封裝的各類參數(shù)信息，得到解碼所需的profile、level、圖像幀類型、圖像尺寸參數(shù)和環(huán)路濾波參數(shù)信息；

步驟3：根據(jù)步驟2中網(wǎng)絡(luò)適配層解析生成的各類參數(shù)信息，在線程池中創(chuàng)建與圖像CTU行數(shù)相同數(shù)量的線程，通過(guò)多核函數(shù)庫(kù)將每個(gè)線程綁定到不同的核，保證各個(gè)線程能夠進(jìn)行多核并行解碼，然后進(jìn)入解碼主循環(huán)；

步驟4、主線程對(duì)讀入的視頻流進(jìn)行解析，若檢測(cè)到是多個(gè)同級(jí)別的B幀，則執(zhí)行并行熵解碼；否則，則調(diào)用單個(gè)幀級(jí)線程串行執(zhí)行CABAC熵解碼；

步驟5、若是步驟4中是對(duì)I幀的熵解碼，則在該幀熵解碼完成后，主線程負(fù)責(zé)總體任務(wù)調(diào)度及根據(jù)I幀建立幀內(nèi)CTU依賴表；幀級(jí)線程根據(jù)CTU依賴關(guān)系表建立CTU任務(wù)隊(duì)列，并根據(jù)任務(wù)隊(duì)列，通知主線程調(diào)度幀內(nèi)線程進(jìn)行幀內(nèi)CTU的并行像素解碼重構(gòu)；幀級(jí)線程判斷當(dāng)前幀內(nèi)CTU單元間的依賴，并通知主線程更新依賴表，當(dāng)依賴表中某個(gè)CTU單元的所有依賴都完成解碼時(shí)，該CTU單元被幀級(jí)線程被加入待解碼任務(wù)隊(duì)列中，幀級(jí)線程通知主線程調(diào)度空閑的幀內(nèi)線程，解碼幀內(nèi)CTU待解碼任務(wù)隊(duì)列中的CTU；根據(jù)每個(gè)幀內(nèi)線程的消息判斷該CTU是否解碼已結(jié)束，若結(jié)束，則該幀級(jí)線程會(huì)重新回歸空閑狀態(tài)，回到線程池等待，同時(shí)，幀級(jí)線程通知主線程更新幀內(nèi)CTU依賴表；如果被更新的項(xiàng)依賴變成0，將其加入到幀內(nèi)CTU待解碼任務(wù)隊(duì)列；

步驟6：在幀內(nèi)線程進(jìn)行幀內(nèi)像素重構(gòu)的過(guò)程中，幀級(jí)線程判斷是否當(dāng)前幀至少有兩行CTU已完成像素重構(gòu)，若完成，則檢測(cè)線程池是否為空，若不為空，則根據(jù)此時(shí)完成像素的CTU行數(shù)調(diào)用若干線程進(jìn)行基于多線程負(fù)載均衡的聯(lián)合并行環(huán)路濾波，設(shè)置最多調(diào)取N-1個(gè)線程，N是已完成解碼的CTU行數(shù)，且N不小于2；若當(dāng)前線程池為空，則暫時(shí)不進(jìn)行環(huán)路濾波，幀級(jí)線程持續(xù)對(duì)線程池進(jìn)行監(jiān)測(cè)，直到線程池不為空；

步驟7、幀級(jí)線程根據(jù)幀內(nèi)CTU任務(wù)隊(duì)列對(duì)幀內(nèi)線程進(jìn)行調(diào)度，同時(shí)對(duì)相鄰幀進(jìn)行判斷，進(jìn)行基于CTU的幀內(nèi)或幀間融合并行解碼；

步驟8、幀級(jí)線程判斷之前幀是否已經(jīng)全部完成，若已完成，則根據(jù)下一幀的解碼完成情況，通知主線程對(duì)尚未完成解碼的CTU建立CTU依賴表；幀內(nèi)線程對(duì)之前已解碼完成的區(qū)域直接進(jìn)行環(huán)路濾波；若當(dāng)前幀的下一幀為I幀，則需等待當(dāng)前幀全部完成解碼，并且從當(dāng)前幀的下一幀開(kāi)始，跳轉(zhuǎn)執(zhí)行步驟6-8，直至當(dāng)前幀圖像解碼完成后，執(zhí)行步驟9；

步驟9、檢測(cè)視頻碼流是否全部解碼完成，若完成則釋放所有的資源；否則，跳轉(zhuǎn)執(zhí)行步驟6。

2.根據(jù)權(quán)利要求1所述的基于多核處理器的HEVC核心模塊融合的并行解碼方法，其特征在于，所述步驟6中，依據(jù)當(dāng)前幀像素解碼重構(gòu)完成的區(qū)域中，CTU劃分方式不同，不同線程所承擔(dān)的去方塊濾波邊界數(shù)不同；設(shè)計(jì)區(qū)域待濾波邊界統(tǒng)計(jì)方法與區(qū)域劃分方法，將待濾波邊界均分給多個(gè)線程，從而實(shí)現(xiàn)線程間負(fù)載均衡。

3.根據(jù)權(quán)利要求2所述的基于多核處理器的HEVC核心模塊融合的并行解碼方法，其特征在于，圖像中全部CTU待濾波邊界數(shù)統(tǒng)計(jì)方式如下：

其中，表示第i幀的去方塊濾波邊界數(shù)目估計(jì)，L表示一幀中CTU的個(gè)數(shù)；表示第i幀中第j個(gè)CTU的濾波計(jì)算復(fù)雜度估計(jì)，N_i,j表示第i幀的第j個(gè)CTU中CU的個(gè)數(shù)；Comp_cu，也即CU中包含的待濾波邊界數(shù)目，可由TU劃分信息得到；CTU待濾波邊界數(shù)的具體對(duì)應(yīng)關(guān)系為兩個(gè)數(shù)組，數(shù)組中的數(shù)字表示待濾波邊界數(shù)，數(shù)組的元素索引為當(dāng)前CU的在CTU四叉樹(shù)結(jié)構(gòu)中的劃分深度：若當(dāng)前CU是進(jìn)行了TU劃分，數(shù)組1為{32,16,8,2}，表示CU進(jìn)行了TU劃分，若CU未進(jìn)行TU劃分，數(shù)組2為{16,8,4,2}。