[發明專利]流媒體視頻圖像預處理方法

有效

• 申請號: 201110161785.7
• 申請日: 2011-06-16
• 公開（公告）號: CN102281439A
• 公開（公告）日: 2011-12-14
• 發明（設計）人: 陳長國
• 申請（專利權）人: 杭州米加科技有限公司
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N11/04;G06K9/00;G06T5/00
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

?

技術領域

本發明涉及一種視頻圖像預處理方法，尤其是涉及一種對流媒體視頻圖像進行處理使之更加適宜于網絡傳輸的方法。

背景技術

在手機流媒體所處的無線互聯網絡中，網絡帶寬極其有限。要在低端手機上實現流媒體解決方案，不僅僅是在算法的時間復雜度上需要高度優化，網絡帶寬的瓶頸很難突破。尤其是GPRS網絡，更是如此。在流媒體傳輸中，視頻圖像的碼率占據著主要部分，而且碼率波動范圍較大。傳統的均值濾波算子操作是一種低通濾波器，它能夠有效去除噪聲，降低碼率。但是在去除噪聲的同時，也使得圖像變得模糊。

中華人民共和國國家知識產權局于2009年02月04日公開了公開號為CN101350235A的專利文獻，名稱是視頻圖像預處理方法，包括如下步驟:初始化噪聲點數和噪聲閾值；計算當前編碼塊原始像素與零運動矢量參考塊像素差的絕對值集合；所述集合中去掉與噪聲點數對應數量的最大值，然后在剩下的點中選出最大值；判斷該最大值是否大于噪聲閾值；若該最大值大于噪聲閾值，則用普通的快速搜索算法搜索各種塊模式的最優運動矢量并選擇最優塊模式編碼；若該最大值小于等于噪聲閾值，則調整量化步長，按零運動矢量的模式編碼。此方案盡管降低了文件大小和播放時的處理時間，但是在視頻質量上整體下降，對于重點內容影響較大。

發明內容

本發明主要是解決現有技術所存在的使視頻質量整體下降、難以保持重點部分清晰度的技術問題，提供一種可以在保證重點部分清晰度、保證圖像質量的前提下降低視頻圖像的編碼碼率的流媒體視頻圖像處理方法。

本發明針對上述技術問題主要是通過下述技術方案得以解決的：一種流媒體視頻圖像預處理方法，包括以下步驟：

步驟一、從視頻源取得一幀RGB格式的圖像；

步驟二、將RGB格式的圖像轉換為YUV420格式的圖像；

步驟三、對YUV420格式的圖像的Y分量作邊緣檢測，得到Y分量的邊緣2值圖像；

步驟四、將YUV420圖像縮放到固定大小；

步驟五、將Y分量的邊緣2值圖像也縮放到同樣的尺寸；

步驟六、對縮放之后YUV420格式圖像的Y分量，做人臉檢測，得到人臉區域；

步驟七、對縮放之后的YUV420格式圖像的Y分量的非人臉區域和非邊緣點，作雙邊濾波操作；

步驟八、對縮放之后的YUV420格式圖像的U、V分量進行雙邊濾波操作，得到處理以后的圖像。

圖像重要區域一般為人臉部位和邊緣部位，處理以后的圖像將可以降低編碼碼率，而對人臉等區域不進行處理，保證重要部位的清晰度。

作為優選，邊緣檢測包括以下步驟：

A、首先用2D高斯濾波模板與原始圖像進行卷積，以消除噪聲；

B、利用一階偏導有限差分算子找到灰度圖像沿著兩個方向的導數Gx，Gy，并求出梯度大小和梯度方向；

C、把梯度方向大致分為4個方向（0度，45度，90度，135度），并找到沿這個像素梯度方向的鄰接像素；

D、遍歷圖像，若整個像素的灰度值與梯度方向上前后兩個像素的灰度值相比不是最大的，那么將這個像素值置為零，即不是邊緣。

E、使用累積直方圖計算兩個閾值，凡是大于高閾值的一定是邊緣，凡是小于閾值的一定不是邊緣；如果在兩個之間，則根據這個像素的鄰接像素中有沒有超過高閾值的邊緣像素進行判斷，如果有，則就是邊緣，否則不是邊緣。

作為優選，對YUV420格式圖像的縮放包括：

A、對于Y分量，根據Y分量的邊緣2值圖像選擇插值核函數，如果選擇的源象素點處于邊緣點，則選擇bi-cubic計算插值核函數，否則選擇三次B樣條插值核函數，此處邊緣2值圖像信息由步驟三得到；

B、對U，V分量，統一采用B樣條做插值核函數進行圖像縮放。

對于圖像縮放來說，高質量的縮放算法有雙3次多項式插值bi-cubic,還可以選擇3次B樣條插值B-Spline。兩種插值都是3次多項式插值，只是計算插值系數所采樣的多項式不同而已。B樣條插值會在一定程度上模糊圖像，因為它的濾波器系數具有低通濾波器的特性。通過試驗也可以驗證：用B樣條插值縮放的圖像較暗，而普通的bi-cubic插值得到的圖像能夠保持原圖像的亮度不變。同時，B樣條插值后的圖像編碼出來的碼率比bi-cubic插值后編碼出來的碼率要低10%左右。對不同區域選用不同的縮放算法，可以在保證圖像質量和降低圖像碼率之間獲得平衡。