[發明專利]一種利用卷積神經網絡提高視頻分辨率的方法

在審

• 申請號: 201810293104.4
• 申請日: 2018-04-04
• 公開（公告）號: CN108805808A
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 吳含前;李程超;姚莉;李露
• 申請（專利權）人: 東南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種利用卷積神經網絡提高視頻分辨率的方法，其特征在于，該方法包括訓練階段和重構階段，在所述訓練階段，以多幀下采樣視頻圖像作為卷積神經網絡模型的輸入，以單圖像的超分辨率方法所產生的訓練權重來初始化該卷積神經網絡模型的權重參數，得到訓練好的卷積神經網絡模型；在所述重構階段，將待處理的視頻圖像輸入訓練好的卷積神經網絡模型，得到重構后的高分辨率圖像。

2.根據權利要求1所述的一種利用卷積神經網絡提高視頻分辨率的方法，其特征在于，所述卷積神經網絡模型包括三層卷積層和兩層池化層共5層架構，所述卷積層用于對輸入的圖像進行特征提取，所述池化層用于對輸入的特征圖進行壓縮，所述5層架構依次為第一卷積層、第一池化層、第二卷積層、第二池化層和第三卷積層。

3.根據權利要求2所述的一種利用卷積神經網絡提高視頻分辨率的方法，其特征在于，所述第一卷積層、第二卷積層的卷積核大小均為3*3，所述第三卷積層的卷積核大小為5*5。

4.根據權利要求1所述的一種利用卷積神經網絡提高視頻分辨率的方法，其特征在于，在所述訓練階段，所述卷積神經網絡模型的輸入圖像序列為單幀圖像的相鄰前后d幀圖像，即使用2d+1張圖像形成的向量進行模型的訓練。

5.根據權利要求1所述的一種利用卷積神經網絡提高視頻分辨率的方法，其特征在于，所述卷積神經網絡模型中訓練模型參數的方法采用Adam算法，其形式如下式所示：

其中β₁,β₂∈[0,1)，分別是一階動量衰減系數和二階動量衰減系數，一般取值為0.9和0.999，ε為進步值，一般取值1e^-8，表示t-1次迭代中的參數梯度矩陣；在第t次迭代，X_t為參數矩陣，m_t是一階動量，v_t是二階動量，屬于中間變量，α是學習速率。

6.根據權利要求1所述的一種利用卷積神經網絡提高視頻分辨率的方法，其特征在于，所述視頻超分辨率模型的初始權重為單圖像超分辨率方法產生的權重的平均值。

7.根據權利要求6所述的一種利用卷積神經網絡提高視頻分辨率的方法，其特征在于，所述視頻超分辨率模型的初始權重計算方法如下：

對于單張圖像來說，假設第一層的輸出數據用H₁來表示，該層卷積核的維度為M×N×C，C是核數量，則某一卷積層像素點輸出數據可用下式表示：

其中i,j是圖像Y通道二維矩陣的索引值，w(·)是權重參數，b(·)是偏置，c是核的索引，y_t是t時刻的圖像亮度值；

對于視頻超分辨率重建而言，有2d+1張輸入圖像對應圖像幀時刻為t-d到t+d，則相應的輸出圖像數據表示為：

表示t'時刻的圖像亮度值，t'為t-d,...,t-2,t-1,t+1,t+2,...,t+d時刻，在權重的初始化時，處理第一張視頻圖像，將輸入的2d+1幅圖像設置為一致，那么y_t-d＝...＝y_t-2＝y_t-1＝y_t＝y_t+1＝y_t+2＝...＝y_t+d，則可以用圖像超分辨率的權重初始化視頻超分辨率的初始權重，它們的關系為：

w(m,n,t,c)＝w_v(m,n,t-d,c)+...+w_v(m,n,t-2,c)+w_v(m,n,t-1,c)

+w_v(m,n,t,c)+w_v(m,n,t+1,c)+w_v(m,n,t+2,c)+...+w_v(m,n,t+d,c)

b(c)＝b_v(c)

所以，可以得到視頻超分辨率的初始化權重：