[發(fā)明專利]一種基于混合顯著性檢測的點云視頻自適應(yīng)切分方法

有效

• 申請?zhí)枺?/td>: 202110684433.3
• 申請日: 2021-06-21
• 公開（公告）號: CN113393467B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計）人: 黎潔;張聰;李奇越;王梟;韓玲;王慧宇;陳勇;彭濤
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/136;G06V10/762;G06V10/75;G06V10/40;G06K9/62;H04N13/117;H04N13/194
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于顯著性檢測的點云視頻自適應(yīng)切分方法，其步驟包括：1、將點云視頻在空間上進(jìn)行3D均勻切分；2、將點云視頻在時間上進(jìn)行分組，每個幀組是切分的單位；3、對每個幀組的第一幀內(nèi)的切塊進(jìn)行靜態(tài)顯著性檢測，得到切塊內(nèi)部離散值和切塊之間的塊間差異值；4、對每個幀組的相鄰幀內(nèi)切塊進(jìn)行運動估計，得到幀間的切塊變化性；5，整合幀組內(nèi)所有幀內(nèi)切塊的靜態(tài)顯著性和切塊變化性；6、采用自上而下的層次聚類將幀組內(nèi)的切塊聚類得到切塊簇。本發(fā)明可以預(yù)測用戶視角關(guān)注點云視頻的顯著性區(qū)域，進(jìn)而通過聚類得到切塊簇，通過調(diào)整切塊簇的傳輸碼率從而減小點云視頻的傳輸數(shù)據(jù)量，提高用戶觀看點云視頻的體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及點云視頻流媒體傳輸領(lǐng)域，具體來說是一種點云視頻在傳輸過程中的數(shù)據(jù)量優(yōu)化方法。

背景技術(shù)

點云是一種三維影像的表現(xiàn)形式，通過大量分布在三維空間中的點構(gòu)成物體，它可以與虛擬現(xiàn)實或增強現(xiàn)實技術(shù)結(jié)合在一起，實現(xiàn)高自由度的沉浸式視頻體驗。然而由于點云存儲了更多維度的信息，所以它的數(shù)據(jù)量比普通視頻更高，因此點云視頻的傳輸對帶寬的要求十分大，這也是目前點云視頻發(fā)展的瓶頸。因此如何盡可能降低點云視頻傳輸過程中的數(shù)據(jù)量是目前研究的熱點方向。

顯著性檢測是指過智能算法模擬人的視覺特點，提取圖像中的顯著區(qū)域(即人類感興趣的區(qū)域)，它可將有限的計算資源分配給圖像視頻中更重要的信息，同時引入視覺顯著性的結(jié)果更符合人的視覺認(rèn)知需求。進(jìn)而可以給例如目標(biāo)識別，視頻壓縮等技術(shù)應(yīng)用帶來重要的幫助。

荷蘭國家數(shù)學(xué)與計算機科學(xué)研究中心的Shishir等人設(shè)計并實現(xiàn)了一種以用戶視角為中心的點云視頻的低復(fù)雜度切分算法(MM'20:The 28th ACM InternationalConference on Multimedia，2020，“User Centered Adaptive Streaming of DynamicPoint Clouds with Low Complexity Tiling”)。作者首先收集了26個實驗參與者在觀看點云視頻過程中的六自由度的運動軌跡，包括位置的變化和頭部運動的變化，然后通過用戶視角熱點分布圖進(jìn)行切分成四個切塊，在傳輸過程中根據(jù)網(wǎng)絡(luò)環(huán)境和用戶視角位置對不同切塊進(jìn)行碼率調(diào)節(jié)，從而使得用戶體驗質(zhì)量(Quality of Experience，QoE)最大化，實驗結(jié)果表示相比基準(zhǔn)方案，該切分方案能在提高傳輸?shù)腝oE同時降低數(shù)據(jù)量傳輸。但是此方案在切分時需要事先獲得用戶視角數(shù)據(jù)，這在直播等環(huán)境下顯然不實際，而且方案并沒有考慮視頻內(nèi)容本身對于切分的影響。

青島大學(xué)的魏計鵬等人提出了一種基于深度圖像增益的RGB-D顯著性物體檢測方法(計算機與現(xiàn)代化，2021，基于深度圖像增益的RGB-D顯著性物體檢測方法)。作者通過在雙分支網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加一個增益子網(wǎng)，采用顯著圖作差的方法獲得深度圖片為顯著性檢測帶來的增益，作為增益子網(wǎng)預(yù)訓(xùn)練的偽GT，獲得圖像的RGB特征、深度特征和深度增益信息，最終將三分支的特征進(jìn)行融合得到最終的顯著性物體檢測的結(jié)果。結(jié)果顯示在多個公開的數(shù)據(jù)集上，該方法與其他顯著性物體檢測方法相比，多個評價指標(biāo)上處于領(lǐng)先地位。但是此顯著性檢測方法針對單幀圖片而不是連續(xù)的視頻，同時深度學(xué)習(xí)算法需要依賴大量數(shù)據(jù)集訓(xùn)練，無法滿足點云視頻流媒體實時傳輸?shù)囊蟆?/p>

武漢大學(xué)的丁曉英等人提出了一種局部和全局融合的顯著性檢測算法(IEEETRANSACTIONS ON IMAGE PROCESSING，2019，Point Cloud Saliency Detection by Localand Global Feature Fusion)。作者首先通過與周圍點的差異比較計算每個點的局部顯著性，然后點云被分成許多個小類簇，計算每個類簇的全局稀有性性。最后通過提出了一個優(yōu)化框架，以整合局部顯著性和全局稀有性值，從而獲得點云的最終顯著性檢測結(jié)果。通過對比實驗表明，提出的方案相比其他顯著性檢測算法有明顯的優(yōu)勢。但是本文的方法需要計算每個點的顯著值，需要大量的計算量，并且沒有考慮紋理信息諸如顏色等在顯著性檢測的作用。

發(fā)明內(nèi)容