[發明專利]一種融合美學和舒適度的3D立體圖像質量評估方法

有效

• 申請號: 201810342793.3
• 申請日: 2018-04-17
• 公開（公告）號: CN108449596B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 牛玉貞;鐘伊妮;柯逍;施逸青
• 申請（專利權）人: 福州大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;G06T7/00;G06T7/13;G06T7/90;H04N13/00
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

本發明涉及一種融合美學和舒適度的3D立體圖像質量評估方法，包括以下步驟：步驟S1：對訓練圖像集合和待預測圖像集合中的每幅立體圖像提取左、右視圖的美學特征及左、右視圖美學一致性特征，獲得美學特征集F1；步驟S2：對訓練圖像集合和待預測圖像集合中的每幅立體圖像提取舒適度特征，獲得舒適度特征集F2；步驟S3：對訓練圖像集合中的所有圖像，結合美學特征集F1和舒適度特征集F2，將其作為機器學習特征集T1，訓練得到立體圖像質量評估模型；步驟S4：利用訓練好的質量評估模型評估每幅待預測圖像，得到所有待預測圖像的最終質量評估分數。該方法有利于提高評估結果與用戶主觀分數的一致性。

技術領域

本發明涉及圖像和視頻處理以及計算機視覺領域，特別是一種融合美學和舒適度的3D立體圖像質量評估方法。

背景技術

圖像的質量評估算法分為有參考，半參考和無參考的質量評估。其中，無參考的質量評估旨在通過利用圖像本身所具有的特征等方式，無需對應的參考圖像來進行質量評估。

一張3D立體圖像由左右視圖組成，這也就使得3D立體圖像既具有雙目圖像的深度特征也包含單目圖像的特征。現實生活中，對用戶最直觀的感受是單目圖像的美學特征。Niu等人在評價專業視頻的幀畫面時提到，專業攝影師對于畫面的要求是，較少的主色調數目、適中的色彩飽和度以及平滑的亮度變化范圍等。

和普通圖像相比，雙目圖像的立體感來源于左右視圖產生視差，從而在人眼視網膜上的成像存在差異，這種空間上的差異就仿佛是人眼在真實世界中看到的立體景觀一樣。Lambooij等人提出，過度的視差值、一些非自然狀態下的模糊、顏色空間的不匹配等都會造成這些視覺不適。在視差中，又分為成像在屏幕前的負視差以及成像在屏幕后的正視差，以及零視差平面。其中，負視差是導致視覺舒適度體驗的一個重要影響因素。Shao等人在研究立體圖像的視覺舒適度體驗中，為了特別分析立體圖像中處于較大視差值產生的影響情況，將處于最大和最小的前10％的視差數據單獨分析。據我們所知，在距離零視差平面一定范圍之內，存在一個視覺舒適區域，處于該區域的視差值符合人眼球的自然調節，也不會存在視覺成像沖突等各方面問題。但是，在拍攝以及后期制作的過程都難免會導致視差數值在這個舒適區范圍之外，這使得立體圖像的視差范圍存在不確定性的變化。

發明內容

本發明的目的在于提供一種融合美學和舒適度的3D立體圖像質量評估方法，該方法有利于提高評估結果與用戶主觀分數的一致性。

為實現上述目的，本發明的技術方案是：一種融合美學和舒適度的3D立體圖像質量評估方法，包括以下步驟：

步驟S1：輸入訓練圖像集合、待預測圖像集合以及用戶對這兩個集合中每幅立體圖像的主觀質量評估分數；對訓練圖像集合和待預測圖像集合中的每幅立體圖像提取左、右視圖的美學特征及左、右視圖美學一致性特征，獲得美學特征集F1；

步驟S2：對訓練圖像集合和待預測圖像集合中的每幅立體圖像提取舒適度特征，獲得舒適度特征集F2；

步驟S3：對訓練圖像集合中的所有圖像，結合美學特征集F1和舒適度特征集F2，將其作為機器學習特征集T1，訓練得到立體圖像質量評估模型；

步驟S4：利用訓練好的質量評估模型評估每幅待預測圖像，得到所有待預測圖像的最終質量評估分數。

進一步地，所述步驟S1中，對立體圖像提取左、右視圖的美學特征及左、右視圖美學一致性特征，獲得美學特征集F1，包括以下步驟：

步驟S11：對立體圖像提取左、右視圖在主色調數目、色彩飽和度以及亮度范圍三個方面的美學特征，計算公式為：

L_t＝L₀(β*W*H)-L₀((1-β)*W*H+1)