[發(fā)明專利]基于立方體投影格式的立體全景圖像顯著區(qū)域預(yù)測方法

有效

• 申請?zhí)枺?/td>: 201911273003.1
• 申請日: 2019-12-12
• 公開（公告）號: CN111178163B
• 公開（公告）日: 2023-06-09
• 發(fā)明（設(shè)計）人: 蔣剛毅;張君君;陳華;宋洋;郁梅
• 申請（專利權(quán)）人: 寧波大學(xué)
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V20/40;G06V10/26;G06V10/56
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

本發(fā)明公開了一種基于立方體投影格式的立體全景圖像顯著區(qū)域預(yù)測方法，其將立體全景圖像處理成立方體投影格式；構(gòu)建立方體投影格式的立體全景圖像的水平局部面、水平全局面、垂直面；計算水平局部面、水平全局面、垂直面各自的顯著圖；將水平局部面的顯著圖加權(quán)水平全局面的顯著圖獲取水平面顯著圖，將垂直面的顯著圖作為垂直面顯著圖；根據(jù)水平面顯著圖和垂直面顯著圖獲取立方體投影格式的立體全景圖像的顯著圖，將該顯著圖處理成等矩形投影格式，再使用緯度增強權(quán)重加權(quán)，得到待處理的立體全景圖像的顯著圖；優(yōu)點是其能夠有效準(zhǔn)確地預(yù)測出立體全景圖像的顯著區(qū)域，且顯著區(qū)域與主觀感知的一致性高。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像顯著區(qū)域預(yù)測方法，尤其是涉及一種基于立方體投影格式的立體全景圖像顯著區(qū)域預(yù)測方法。

背景技術(shù)

追求沉浸式視覺體驗以模擬真實世界一直是一個熱門的話題，隨著360°相機如Surround360相機的上市，立體全景視覺內(nèi)容已逐漸吸引越來越多研究者以及消費者的關(guān)注。與傳統(tǒng)圖像相比，立體全景圖像的顯著特點是具有較廣的視野范圍，360°相機可以拍攝覆蓋整個內(nèi)球面的整個視場，觀看者通過佩戴HMD(Head?Mounted?Display)以視口的形式自由地選擇并觀看立體全景圖像的局部區(qū)域。

人類視覺系統(tǒng)(HVS)的視覺注意機制往往是有選擇地關(guān)注較為感興趣的內(nèi)容而忽略視覺環(huán)境中的其他部分，從而有效地分配有限的視覺處理資源。顯著性預(yù)測是對人眼的這一機制進行模擬，從而將后續(xù)更多的關(guān)注以及更復(fù)雜的操作應(yīng)用到顯著區(qū)域，近年來在圖像壓縮、質(zhì)量評價、圖像分割等領(lǐng)域都有較為廣泛的應(yīng)用。

現(xiàn)有的全景圖像顯著性預(yù)測模型大多先直接將平面全景圖像處理成等矩形(Equirectangular?Projection，ERP)投影格式(等矩形投影是全景視頻編碼中默認的投影格式)，但這種處理方法會使等矩形投影格式的平面全景圖像產(chǎn)生嚴(yán)重的形變，而且與人們主觀觀看內(nèi)容并不一致。全景視頻編碼中的立方體投影(Cube?Map?Projection，CMP)由6個面組成，具有較少的形狀失真，與人眼觀看到的視口圖像類似，因此，對立方體投影格式的平面全景圖像進行預(yù)測會大大提升預(yù)測的準(zhǔn)確性，但是預(yù)測結(jié)果存在嚴(yán)重的邊界效應(yīng)。目前，還沒有針對立體全景圖像的顯著區(qū)域預(yù)測方法，而現(xiàn)有的全景圖像顯著性預(yù)測模型沒有考慮雙目視差的影響，對立體全景圖像的顯著區(qū)域預(yù)測結(jié)果不準(zhǔn)確。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種基于立方體投影格式的立體全景圖像顯著區(qū)域預(yù)測方法，其能夠有效準(zhǔn)確地預(yù)測出立體全景圖像的顯著區(qū)域，且顯著區(qū)域與主觀感知的一致性高。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于立方體投影格式的立體全景圖像顯著區(qū)域預(yù)測方法，其特征在于包括以下步驟：

步驟1：將待處理的寬度為W且高度為H的立體全景圖像處理成立方體投影格式的立體全景圖像，記為I^CMP，I^CMP由6個面組成，I^CMP表述為I^CMP＝(V₁,V₂,V₃,V₄,V₅,V₆)；其中，V₁表示I^CMP的左部面，V₂表示I^CMP的前部面，V₃表示I^CMP的右部面，V₄表示I^CMP的后部面，V₅表示I^CMP的頂部面，V₆表示I^CMP的底部面；

步驟2：構(gòu)建I^CMP的水平局部面，記為V_hl；并構(gòu)建I^CMP的水平全局面，記為V_hg；