[發(fā)明專利]一種深度圖輪廓預(yù)測的并行實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201911288512.1
• 申請日: 2019-12-12
• 公開（公告）號: CN110933441B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 謝曉燕;張西紅;王昱;朱筠;蔣林
• 申請（專利權(quán)）人: 西安郵電大學(xué)
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N13/161
• 代理公司: 北京易捷勝知識產(chǎn)權(quán)代理有限公司 11613
• 代理人: 李麗敏

1.一種深度圖輪廓預(yù)測的并行實(shí)現(xiàn)方法，其特征在于，

通過構(gòu)建基于鄰接互連的4×4二維處理元陣列并行結(jié)構(gòu)，其中，構(gòu)建基于鄰接互連的4×4二維處理元陣列并行結(jié)構(gòu)，包括：

4×4二維處理元陣列并行結(jié)構(gòu)包括4×4個PE，驅(qū)動處理元PE00用于從DIM取數(shù)及下發(fā)，PE03用于從DOM取數(shù)及下發(fā)，PE01、PE02、PE11和PE12用于進(jìn)行4×4塊的紋理均值、二進(jìn)制映射矩陣、深度圖預(yù)測和SAD代價計(jì)算操作，PE22、PE23、PE32和PE33用于進(jìn)行8×8塊的紋理均值、二進(jìn)制映射矩陣、深度圖預(yù)測和SAD代價計(jì)算操作，PE20、PE21、PE30和PE31用于進(jìn)行16×16塊的紋理均值、二進(jìn)制映射矩陣、深度圖預(yù)測和SAD代價計(jì)算操作，PE13用于進(jìn)行最優(yōu)預(yù)測模式選擇和輸出操作；

同時完成三維高效視頻編碼中4×4、8×8和16×16大小編碼塊的深度圖輪廓預(yù)測并行處理，包括以下步驟：

步驟1、基于獲取的視頻圖像讀取紋理像素值和深度像素值到所述并行結(jié)構(gòu)的所述處理元中，所述讀取紋理像素值和深度像素值到所述并行結(jié)構(gòu)的所述處理元中，包括：

通過所述二維處理元陣列中的處理元PE00以鄰接互連的方式訪問所述DIM，依次將16×16的深度編碼塊讀入處理元PE00的本地?cái)?shù)據(jù)存儲，并將其傳遞到處理元PE01、PE20和PE22；

通過所述二維處理元陣列中的處理元PE03以鄰接互連的方式訪問所述DOM，依次將16×16的紋理圖參考塊讀入處理元PE03的本地?cái)?shù)據(jù)存儲，并將其傳遞到處理元PE01、PE20和PE22；

步驟2、在所述并行結(jié)構(gòu)的所述處理元中并行地進(jìn)行深度圖編碼塊和紋理圖參考塊的4×4、8×8和16×16規(guī)模劃分，包括：

處理元PE01依次將所述16×16的深度編碼塊和紋理參考塊等分成4行4列共16個4×4的子塊，并將第2行的4個子塊傳遞到處理元PE02，第3行的4個子塊傳遞到處理元PE11，第4行的4個子塊傳遞到處理元PE12；

處理元PE22依次將所述16×16的深度編碼塊和紋理參考塊等分成2行2列共4個8×8的子塊，并將右上第2子塊傳遞到處理元PE23，左下第3子塊傳遞到處理元PE32，右下第4子塊傳遞到處理元PE33；

處理元PE20將所述16×16的深度編碼塊傳遞到PE30和PE31，將16×16的紋理參考塊傳遞到PE21；

步驟3、在所述并行結(jié)構(gòu)的所述處理元中并行地進(jìn)行4×4、8×8和16×16大小參考塊的紋理均值及二值映射矩陣計(jì)算，包括：

在處理元PE01、PE02、PE11和PE12中并行地對各自存儲的4個4×4紋理子塊進(jìn)行紋理均值，并計(jì)算得到4個4×4二值映射矩陣；

在處理元PE22、PE23、PE32和PE33中并行地對各自存儲的8×8紋理子塊進(jìn)行紋理均值，并計(jì)算得到1個8×8二值映射矩陣；

在處理元PE21中進(jìn)行16×16紋理子塊進(jìn)行紋理均值，并計(jì)算得到1個16×16二值映射矩陣；

步驟4、根據(jù)得到的所述二值映射矩陣，在所述并行結(jié)構(gòu)的所述處理元中并行地進(jìn)行4×4、8×8和16×16大小編碼塊的恒定分區(qū)過程和SAD代價計(jì)算，包括：

根據(jù)步驟3得到的所述4×4二值映射矩陣，在處理元PE01、PE02、PE11和PE12中并行地對各自存儲的4×4深度子塊計(jì)算其恒定分區(qū)值，根據(jù)所述恒定分區(qū)值計(jì)算4×4分塊模式的深度預(yù)測塊，根據(jù)所述深度預(yù)測塊計(jì)算殘差矩陣及SAD值SAD4×4，并將SAD值傳遞給處理元PE13；

根據(jù)步驟3得到的所述8×8二值映射矩陣，在處理元PE22、PE23、PE32和PE33中并行地對各自存儲的8×8深度子塊計(jì)算其恒定分區(qū)值，根據(jù)所述恒定分區(qū)值計(jì)算8×8分塊模式的深度預(yù)測塊，根據(jù)所述深度預(yù)測塊計(jì)算殘差矩陣及SAD值SAD4×4，并將SAD值傳遞給處理元PE13；

根據(jù)步驟3得到的所述16×16二值映射矩陣，在處理元PE30中對16×16的深度子塊計(jì)算其恒定分區(qū)值并將其傳遞給PE31，處理元PE31根據(jù)所述恒定分區(qū)值計(jì)算16×16分塊模式的深度預(yù)測塊，根據(jù)所述深度預(yù)測塊讀取PE30對應(yīng)位置數(shù)據(jù)計(jì)算殘差矩陣及SAD值SAD16×16，并將SAD值傳遞給處理元PE13；

步驟5、根據(jù)得到的所述4×4、8×8和16×16大小編碼塊的SAD值，在所述處理元中計(jì)算選出最優(yōu)預(yù)測模式，輸出其二值映射矩陣、恒定分區(qū)值及殘差矩陣，包括：

根據(jù)步驟4得到的SAD4×4、SAD8×8和SAD16×16，處理元PE13先將4個SAD8×8求和與SAD16×16相比，若SAD16×16小，則選擇16×16分塊模式并輸出其二值映射矩陣、恒定分區(qū)值和殘差矩陣；

若SAD16×16大，則將PE01、PE02的前2個SAD4×4求和與PE22的SAD8×8相比、將PE01、PE02的后2個SAD4×4求和與PE23的SAD8×8相比、PE11、PE12的前2個SAD4×4求和與PE32的SAD8×8相比、PE11、PE12的后2個SAD4×4求和與PE33的SAD8×8相比，依次選擇每種SAD代價最小的分塊模式，并將其二值映射矩陣、恒定分區(qū)值和殘差矩陣輸出。

2.如權(quán)利要求1所述的方法，其特征在于，

在步驟1所述讀取紋理像素值和深度像素值之前，還包括：

將視頻的測試序列的深度圖像轉(zhuǎn)換成所述陣列能識別的二進(jìn)制數(shù)據(jù)，將所述二進(jìn)制數(shù)據(jù)分布在文檔中，并存儲在數(shù)據(jù)輸入存儲DIM中，作為所述深度像素值；

將所述視頻中前一幀紋理圖像處理后重建圖像的亮度分量，存儲在數(shù)據(jù)輸出存儲DOM中，作為所述紋理像素值。