[發(fā)明專利]基于點結(jié)構(gòu)化信息網(wǎng)絡(luò)的點云質(zhì)量計算方法

在審

• 申請?zhí)枺?/td>: 202211589728.3
• 申請日: 2022-12-12
• 公開（公告）號: CN115937150A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 熊健;吳思凡;付晨藝;羅旺;高浩
• 申請（專利權(quán)）人: 南京郵電大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08;G06N3/0464
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 韓紅莉

本發(fā)明公開基于點結(jié)構(gòu)化信息網(wǎng)絡(luò)的點云質(zhì)量計算方法，將點云塊的位置矢量特征、距離特征、亮度特征與亮度差特征聯(lián)合輸入點結(jié)構(gòu)化信息網(wǎng)絡(luò)模型，提取點云塊的結(jié)構(gòu)化信息特征；將點結(jié)構(gòu)化信息特征輸入到失真感知流網(wǎng)絡(luò)中，得到失真分類特征；將結(jié)構(gòu)化信息特征輸入到基礎(chǔ)質(zhì)量感知流網(wǎng)絡(luò)中，得到點云塊的基礎(chǔ)質(zhì)量特征。將點云塊的基礎(chǔ)質(zhì)量特征與失真分類特征進行融合并輸入兩層第三全連接層，獲得預(yù)測質(zhì)量分數(shù)；將屬于同一整體點云的多個點云塊的預(yù)測質(zhì)量分數(shù)進行平均計算，獲得該整體點云的最終分數(shù)。本發(fā)明考慮到點云亮度、距離、相對位置等信息對點云質(zhì)量的影響，引入亮度差特征、結(jié)構(gòu)化信息特征對點云主觀質(zhì)量進行綜合評估。

技術(shù)領(lǐng)域

本發(fā)明涉及基于點結(jié)構(gòu)化信息網(wǎng)絡(luò)的點云質(zhì)量計算方法，屬于3D點云無參考質(zhì)量評價技術(shù)領(lǐng)域。

背景技術(shù)

點云定義為一組三維點，其中每個點都表示為三維坐標和特定屬性(例如顏色)。隨著三維信息捕捉技術(shù)的發(fā)展，點云在虛擬現(xiàn)實、沉浸式臨場感、移動地圖和三維信息打印等應(yīng)用中得到了廣泛的應(yīng)用。點云的一個典型用途是在虛擬現(xiàn)實和身臨其境的臨場感中表現(xiàn)人類的全息圖像。然而，為了逼真地展現(xiàn)視覺信息，一個模型可能有數(shù)百萬甚至上億的點組成，在進行傳輸?shù)倪^程中，通常采用有損壓縮方案，與無損壓縮方案相比，它可以節(jié)省很多的傳輸資源以及提升傳輸?shù)乃俾剩珟淼呢撁嬗绊懢褪菚a(chǎn)生壓縮感知失真。此外，在采集、傳輸?shù)倪^程中也可能會受到干擾從而產(chǎn)生下采樣感知失真、高斯濾波失真等，從而導(dǎo)致人眼感知情況下降。為了更好地管理和控制點云的主觀質(zhì)量，因此提出符合人眼感知的高性能彩色點云質(zhì)量評價至關(guān)重要。

為了量化這種視覺感知機制，人們常常從主觀和客觀兩種質(zhì)量評估的角度進行研究。主觀質(zhì)量評價依賴于人員的主觀打分，為不同的失真程度提供真實的視覺感知分數(shù)，盡管這些方法是準確的，但是時間和人工成本都很昂貴。客觀質(zhì)量指標則是指運用模型評估點云的視覺質(zhì)量，現(xiàn)有的客觀質(zhì)量評價模型大致可以分為三種，全參考點云質(zhì)量評價、半?yún)⒖键c云質(zhì)量評價以及無參考點云質(zhì)量評價。然而由于在大部分場景下，是比較難獲得原始點云的信息，且在儲存和傳輸?shù)倪^程中所需數(shù)據(jù)量過大，這就導(dǎo)致了全參考的點云質(zhì)量評價方式在實際現(xiàn)實中難以運用，因此無參考的點云質(zhì)量評價方式漸漸成為人們研究的重點。現(xiàn)有的無參考點云質(zhì)量評價主要可以歸為基于手工特征的度量和基于深度學習的度量兩種方向。其中基于手工特征的方法有通過將3D點云投影到幾何與顏色特征域，然后利用3D自然場景統(tǒng)計和熵提取質(zhì)量感知特征，利用支持向量機將特征回歸到視覺質(zhì)量分數(shù)(3D-NSS)。然而，手工制作的特性高度依賴于領(lǐng)域知識，因此特征表示的性能常常受限。基于深度學習的方法有通過攝像機圍繞點云旋轉(zhuǎn)三個特定軌道從而獲得三個視頻序列，將ResNet3D作為特征提取模型以學習捕獲視頻與相應(yīng)主觀質(zhì)量分數(shù)之間的相關(guān)性(VS-ResNET)；通過從3D點云中提取分層特征，同時考慮幾何以及紋理信息，采用稀疏張量表示，將張量輸入到CNN中來預(yù)測得到質(zhì)量評分(ResSCNN)；通過將自然圖像視為源域，將點云視為目標域，運用無監(jiān)督對抗性自適應(yīng)來推斷點云質(zhì)量(IT-PCQA)；通過多視圖的聯(lián)合特征提取和融合模塊、失真類型識別模塊和質(zhì)量矢量預(yù)測模塊來預(yù)測最終分數(shù)(PQA-NET)。然而上述的基于深度學習的方法由于點云的非結(jié)構(gòu)化性質(zhì)阻礙了直接應(yīng)用卷積運算，因此將3D點云投影為圖像或者視頻。這些方法均只考慮顏色信息而忽略了與人類感知高度相關(guān)的幾何信息。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的缺陷，提供基于點結(jié)構(gòu)化信息網(wǎng)絡(luò)的點云質(zhì)量計算方法。

為達到上述目的，本發(fā)明提供基于點結(jié)構(gòu)化信息網(wǎng)絡(luò)的點云質(zhì)量計算方法，包括：

將預(yù)先獲取的點云塊的位置矢量特征、點云塊的距離特征、點云塊的亮度特征與點云塊的亮度差特征聯(lián)合輸入到點結(jié)構(gòu)化信息網(wǎng)絡(luò)模型中，提取點云塊的結(jié)構(gòu)化信息特征；

將點結(jié)構(gòu)化信息特征輸入到迭代訓(xùn)練完成的失真感知流網(wǎng)絡(luò)中，得到失真分類特征；

將結(jié)構(gòu)化信息特征輸入到基礎(chǔ)質(zhì)量感知流網(wǎng)絡(luò)中，得到點云塊的基礎(chǔ)質(zhì)量特征。