[發明專利]立體全景圖像的質量評價方法、系統

在審

• 申請號: 202011512074.5
• 申請日: 2020-12-19
• 公開（公告）號: CN114648482A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 周雪梅;張云;李娜
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/80;G06K9/62;G06V10/46;G06V10/44
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 魏毅宏

本發明適用圖像處理技術領域，提供了一種立體全景圖像的質量評價方法、系統，該方法包括：采用尺度不變特征變換算法提取立體全景圖像的投影不變性特征；對立體全景圖像進行基于顯著性的質量特征檢測，提取立體全景圖像的顯著性質量特征；對投影不變性特征和顯著性質量特征進行融合，計算立體全景圖像的質量分數；根據質量分數對立體全景圖像進行質量評價。由于利用投影不變性特征，并考慮用戶在觀看立體全景圖像時的視覺偏好而提取了顯著性特征，最后進行特征融合得到最終的質量評價方法，將本發明擴展到任意投影格式的立體全景圖像，并實現立體全景圖像全盤考慮，實際解決了對立體全景圖像進行質量評價時導致主客觀評價對象不一致的技術問題。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種立體全景圖像的質量評價方法、系統。

背景技術

隨著超高清、虛擬現實(VR)、3D視頻等多媒體技術的快速發展，多媒體數據以指數型方式增長，給數據存儲和傳輸帶來了巨大的挑戰。在處理圖像的過程中囿于硬件條件和環境因素的限制、處理方法的選擇會造成圖像質量不可避免的損失，從而嚴重影響人們的視覺感知效果。全球5G網絡步入商用，制約虛擬現實的寬帶和時延問題得以解決，伴隨VR技術以及相應硬件設備的普及，VR/AR頭顯設備出貨量強勁增長，硬件、軟件、服務融合的盈利商業模式不斷成熟，虛擬現實廣泛的應用于休閑娛樂、商業服務、醫療健康、直播等方方面面，人們對于立體、沉浸式的信息交互方式的需求促使VR內容制作者們提供更好的用戶體驗。為了降低人類視覺的圖像感知質量損失，需要量化圖像質量的退化程度，以便在處理過程中對圖像質量進行保持、控制或增強。因此，建立有效的圖像質量評價機制具有重要的研究意義。

由于立體全景圖像在圖像獲取、拼接、投影變換、逆投影變換、后期處理、渲染和顯示的過程中有著與傳統圖像截然不同的特性，主要有不同的投影格式以及圖像的失真在投影前后可能發生變化；可以提供3維深度信息；觀看方式由裸眼觀看轉變成為佩戴頭戴顯示設備(Head Mounted Display，HMD)而導致的主客觀評價對象的不一致；無限的觀看視野使得人們對圖像內容的感知程度不同。

現有方法中，通常是基于視窗圖像進行質量評價，而針對立體全景圖像，則是將立體和全景分而治之，根據立體和全景的特性分別設計相應的計算模型提取圖像的特征，最后采用回歸的機器學習方法，比如支持向量回歸和隨機森林等進行融合，是一種無參考的評價方法。

然而，視窗圖像的視野過大則會造成一定的投影失真，并且直接通過視窗采樣的方式總是會遺漏整幅圖像的部分信息從而影響整幅立體全景圖像的質量評價；而將立體全景圖像分開考慮提取不同的特征缺乏對立體全景圖像的全盤考慮，即在考慮全景特性的時候沒有基于立體特性，其作為一個獨立的整體通過HMD展現在人眼前的主要視覺特征沒有被充分挖掘。并且直接在投影之后的平面圖像上進行質量評價而主觀測試者實際看到的圖像是視窗圖像，所以會導致主客觀評價對象的不一致。

發明內容

本發明的目的在于提供一種立體全景圖像的質量評價方法、系統，旨在解決現有技術中對立體全景圖像進行質量評價時導致主客觀評價對象的不一致的技術問題。

第一方面，本發明提供了一種立體全景圖像的質量評價方法，應用于電子設備，包括：

采用尺度不變特征變換算法提取立體全景圖像的投影不變性特征；

對所述立體全景圖像進行基于顯著性的質量特征檢測，提取所述立體全景圖像的顯著性質量特征；

對所述投影不變性特征和所述顯著性質量特征進行融合，計算所述立體全景圖像的質量分數；

根據所述質量分數對所述立體全景圖像進行質量評價。

可選的，所述采用尺度不變特征變換算法提取立體全景圖像的投影不變性特征的步驟包括：

針對所述立體全景圖像的原始圖像和失真圖像，獲取所述原始圖像和所述失真圖像的左視圖、右視圖；