[發明專利]基于滑窗權重回歸的視頻自適應銳化的方法及系統

在審

• 申請號: 202111657429.4
• 申請日: 2021-12-30
• 公開（公告）號: CN114363477A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 唐杰;朱運平;張聰聰;李慶瑜;戴立言
• 申請（專利權）人: 上海網達軟件股份有限公司
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N5/367;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種基于滑窗權重回歸的視頻自適應銳化的方法，其特征在于，包括：

獲取待處理視頻，將視頻解碼，得到若干一幀圖像；

構建基于滑窗權重回歸的神經網絡模型，通過神經網絡模型回歸每幀圖像中每個像素位置及其8鄰域的權重；通過get_weights函數獲取神經網絡模型的訓練權重，得到維度為[1,9,height,width]的特征，使圖像的每個像素位置輸出9個權重；其中，height為圖像的高度，width為圖像的寬度；將當前像素及其8鄰域，根據相應的9個權重進行加權，得到銳化后的圖像；

將銳化后的圖像進行編碼，得到銳化處理后的視頻。

2.如權利要求1所述的基于滑窗權重回歸的視頻自適應銳化的方法，其特征在于，所述通過通過get_weights函數獲取神經網絡模型的訓練權重進一步包括：

采用AlexNet神經網絡，根據公式：

w＝(A·gridx+B·gridy+T)³

回歸10個參數，其中，

式中，A,B為權重系數，T為常數項，x,y是在[-1,1]區間上分別均勻等分后得到長度分別為width,height的數組，width,height分別為圖像的寬和高；gridx、gridy分別為x、y的網格分量；

將所述10個參數與二維meshgrid(y,x)點乘得到維度大小為[1,9,height,width]的權重。

3.如權利要求2所述的基于滑窗權重回歸的視頻自適應銳化的方法，其特征在于，采用公式：

對神經網絡模型進行監督學習，不斷計算圖像gt與圖像y的loss值，對回歸參數進行調整；其中，N為模型輸入圖像的像素個數，圖像gt為模型訓練集中真值圖像，圖像y為模型輸出的銳化圖像。

4.一種基于滑窗權重回歸的視頻自適應銳化的系統，其特征在于，包括：

預處理模塊，用于獲取待處理視頻，將視頻解碼，得到若干一幀圖像；

圖像銳化模塊，用于構建基于滑窗權重回歸的神經網絡模型，通過神經網絡模型回歸每幀圖像中每個像素位置及其8鄰域的權重；采用get_weights函數獲取神經網絡模型的訓練權重，得到維度為[1,9,height,width]的特征，使圖像的每個像素位置輸出9個權重；其中，height為圖像的高度，width為圖像的寬度；將當前像素及其8鄰域，根據相應的9個權重進行加權，得到銳化后的圖像；

視頻輸出模塊，用于將銳化后的圖像進行編碼，得到銳化處理后的視頻。

5.如權利要求4所述的基于滑窗權重回歸的視頻自適應銳化的系統，其特征在于，所述圖像銳化模塊包括網絡模型單元及模型訓練單元；

所述網絡模型單元采用Alex Net神經網絡，根據公式：

w＝(A·gridx+B·gridy+T)³

回歸10個參數，其中，

式中，A,B為權重系數，T為常數項，x,y是在[-1,1]區間上分別均勻等分后得到長度分別為width,height的數組，width,height分別為圖像的寬和高；gridx、gridy分別為x、y的網格分量；并將所述10個參數與二維meshgrid(y,x)點乘得到維度大小為[1,9,height,width]的權重；

所述模型訓練單元用于根據公式：

對神經網絡模型進行監督學習，不斷計算圖像gt與圖像y的loss值，對回歸參數進行調整；其中，N為模型輸入圖像的像素個數，圖像gt為模型訓練集中真值圖像，圖像y為模型輸出的銳化圖像。

6.一種基于滑窗權重回歸的視頻自適應銳化的設備，其特征在于，包括：

存儲器和處理器，所述存儲器中存儲有指令，所述存儲器和所述處理器通過線路互連；

所述處理器調用所述存儲器中的所述指令，實現如權利要求1-3中任意一項所述的基于滑窗權重回歸的視頻自適應銳化的方法。

7.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-3中任意一項所述的基于滑窗權重回歸的視頻自適應銳化的方法。