[發(fā)明專利]基于特征提取和集成學習的立體圖像質量客觀評價方法

在審

• 申請?zhí)枺?/td>: 202011090203.6
• 申請日: 2020-10-13
• 公開（公告）號: CN112651922A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設計）人: 李素梅;丁義修;胡佳潔;侯春萍
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06T5/50
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發(fā)明屬于圖像處理領域，為提出立體圖像質量客觀評價方法，本發(fā)明，基于特征提取和集成學習的立體圖像質量客觀評價方法，步驟如下：1)雙目融合圖像的獲取；2)融合圖像特征的提取：對融合圖像分別進行方向梯度直方圖HOG特征編碼和局部二值模式LBP特征編碼，提取相應特征；3)集成學習模型的搭建：選擇支持向量回歸SVR作為集成學習的個體學習器，采用Stacking的集成策略，分別使用兩個初級SVR學習器學習融合圖像的HOG特征和LBP特征，并將特征映射成為立體圖像的質量分數，次級SVR學習器學習前面兩個初級學習器的質量分數輸出，并將其映射成為立體圖像最終的質量輸出。本發(fā)明主要應用于圖像處理場合。

技術領域

本發(fā)明屬于圖像處理領域，涉及立體圖像質量客觀評價研究，尤其是涉及一種基于特征提取和集成學習的立體圖像質量客觀評價方法。

背景技術

隨著3D技術的深入發(fā)展，如何實現舒適立體顯示成為了國內外的研究熱點。在國際上，國際電信聯(lián)盟(International Telecommunication Union,ITU)的視頻質量專家小組(the Video Quality Experts Group,VQEG)和美國德州大學等機構取得了重大成果，在國內，許多企業(yè)和高校也開展了研究，包括清華大學、天津大學和寧波大學等。本發(fā)明主要研究內容是舒適立體內容的制作和立體圖像質量評價，而立體圖像質量評價可以分為主觀評價和客觀評價。

由于主觀評價方法存在耗時耗力等缺陷，科研人員也致力于通過客觀評價算法實現對立體內容的實時評價。許多平面圖像質量評價算法已經在實際應用中獲得了較好的效果，例如基于結構相似度的SSIM方法^[1]和VIF算法^[2]。文獻[3][4][5]直接將2D圖像質量評價的方法遷移到3D圖像的左右視圖，然后將兩個視圖的質量分數進行加權評價。文獻[6][7][8]在構建客觀評價模型時進一步考慮了視差/深度信息等雙目感知屬性。文獻[9][10][11][12][13]模擬人腦視覺中的雙目融合特性對立體圖像的質量進行評價。Yang等人^[9]提出了一種基于融合圖顯著性的全參考立體圖像質量評價算法，先利用雙目融合模型計算出參考圖像和失真圖像的融合圖，并計算出參考圖像單目圖的顯著圖，將此顯著圖作為參考圖融合圖和失真圖融合圖的相似性的權重。Maryam Karim等人^[10]先計算出左右視點的融合圖，并用稀疏字典和稀疏系數提取融合圖像的特征，最后通過訓練回歸模型獲得立體圖像的質量分數。文獻[11]提出了一種基于雙目融合的立體圖像質量評價方法，并取得了和主觀評價結果很好的一致性。文獻[12]首先計算出參考圖像和失真圖像的視差圖，并通過小波分解計算出參考圖像對和失真圖像對的融合圖。文獻[13]提出了一種無參考的立體圖像質量評價方法，先通過雙目融合、競爭、抑制等視覺特性將立體圖像對融合成為單目圖，從單目圖中提取單變量和多變量的統(tǒng)計特性，最后通過支持向量回歸(Support VectorRegression,SVR)模型將特征映射成為質量分值。