[發明專利]基于特征提取和集成學習的立體圖像質量客觀評價方法

在審

• 申請號: 202011090203.6
• 申請日: 2020-10-13
• 公開（公告）號: CN112651922A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 李素梅;丁義修;胡佳潔;侯春萍
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06T5/50
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于特征提取和集成學習的立體圖像質量客觀評價方法，其特征是，步驟如下：1)雙目融合圖像的獲取：左右視圖在紅、綠、藍三個通道根據增益控制和增益增強來得到雙目融合圖像；2)融合圖像特征的提取：對融合圖像分別進行方向梯度直方圖HOG(Histogramof Oriented Gradient)特征編碼和局部二值模式LBP(Local Binary Pattern)特征編碼，提取相應特征；3)集成學習模型的搭建：選擇支持向量回歸SVR作為集成學習的個體學習器，采用Stacking的集成策略，分別使用兩個初級SVR學習器學習融合圖像的HOG特征和LBP特征，并將特征映射成為立體圖像的質量分數，次級SVR學習器學習前面兩個初級學習器的質量分數輸出，并將其映射成為立體圖像最終的質量輸出。

2.如權利要求1所述的基于特征提取和集成學習的立體圖像質量客觀評價方法，其特征是，雙目融合圖像的獲取具體過程：最基本的模型如式(1)所示，采用雙目融合：

Γ(I_L,I_R)＝I_L+I_R (1)

其中Γ(I_L,I_R)是融合圖像，I_L和I_R分別是左右視點，考慮雙目視覺特性中的雙目融合和雙目競爭，將模型改進為式(2)：

其中ε_L(I_L)和ε_R(I_R)是左右兩個視點對比度增益的對比度能量權重，在雙目融合模型公式(2)的基礎上進行改進，得到計算單目圖像的模型(3)：

其中I_l(x,y)和I_r(x,y)是立體圖像的左右視點，GC_l(x,y)和GC_r(x,y)是左右視點增益控制的總共對比度能量，GE_l(x,y)和GE_r(x,y)是左右視點增益增強的總共對比度能量，C(x,y)為最終的融合圖像；

計算GC_v(x,y)和GE_v(x,y)的過程如下：

分別提取并處理其RGB三個通道，首先利用一組Gabor濾波器分別對左右視點的各個通道進行濾波，獲取其空間響應，二維Gabor濾波器寫成下式：

其中x'＝(xcosθ+ysinθ)，y'＝(-xsinθ+ycosθ)，ω為空間頻率θ為方向，γ為空間寬高比σ為高斯濾波器的標準差，濾波器組中，Gabor濾波器組包含8個方向θ∈{kπ/8|k＝0,1,…7}和6個方向ω∈{1.5,2.5,3.5,5，7,10}(cycle/degree)共48個濾波器，因此每個視點經過濾波可得到48張特征圖，將特征圖按照平均亮度值的升序進行排列，得到C_v＝{C_v⁽¹⁾,C_v⁽²⁾,C_v⁽³⁾,…,C_v⁽⁴⁸⁾},v∈{l,r}，通過下式(5)和式(6)計算增益增強指數ge和增益控制指數gc，

使用對比度敏感函數CSF(Contrast Sensitivity Function，)對48幅特征圖進行濾波，以模擬人眼對圖像不同空間頻率的不同響應，通過Gabor濾波和CSF濾波，每個視點得到48張符合人眼視覺特性的特征圖，用來表示，通過式(7)計算每張特征圖的權重，最后通過式(8)計算增益控制的總共對比度能量GC_v(x,y)和增益增強的總共對比度能量GE_v(x,y)；

通過式(8)計算得到增益控制和增益增強兩個屬性，按式(3)計算得到左右視點的融合圖像。

3.如權利要求1所述的基于特征提取和集成學習的立體圖像質量客觀評價方法，其特征是，融合圖像特征的提取具體步驟如下：通過分別對融合圖像進行HOG特征編碼和LBP特征編碼，獲取融合圖像中與立體圖像質量相關的信息；

(一)HOG特征提取

HOG特征的計算流程如下：1)選取中心點，劃分尺度相同的圖像塊作為采樣窗口或者網格，稱為細胞單元cell；2)計算細胞單元內的梯度；3)將多個細胞單元組成一個區間塊block；

(二)LBP特征提取

(1)LBP算法處理融合圖像得到紋理圖，提取圖譜的統計直方圖作為特征向量；

(2)選擇LBP算法的采樣模式，從鄰域中選擇樣本點的策略稱為采樣模式，原始LBP算法的采樣模式是方形采樣，即選擇中心像素點周圍的8鄰域，擴展的LBP算法為圓形采樣，即以中心像素點為圓心半徑為R的圓周上均勻選擇P個采樣點，按照公式(11)(12)對紋理圖進行方形采樣；

(3)確定紋理圖劃分大小，為了避免局部特征信息的丟失，將融合圖像紋理圖劃分成3×3的區域塊，并按步驟(11)計算各區域塊的直方圖；

(4)得到整個圖像的LBP特征向量，連接各個不同區域塊的直方圖，根據直方圖計算得到256維特征向量作為融合圖像的LBP描述。