[發明專利]一種無線網絡視頻流抗丟包預處理及恢復方法

有效

• 申請號: 201410091095.2
• 申請日: 2014-03-13
• 公開（公告）號: CN103916714B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 朱曉榮;吳文青;趙亞南;錢超;徐杰
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04N21/647
• 分類號: H04N21/647;H04N21/6437;H04N19/65
• 代理公司: 江蘇愛信律師事務所32241
• 代理人: 劉琦

1.一種無線網絡視頻流抗丟包預處理及恢復方法，其特征在于，該方法包括以下步驟：

1）?發送端將視頻畫面中像素按照一定規則分割到不同的子畫面中，使得原圖像中相鄰像素都處于不同的子畫面中；

2）對所述步驟1）中得到的各個子畫面進行視頻編碼得到視頻數據流，將所述數據流分割成數據包，并將數據包標記上記載有子畫面分割方式和像素位置字段的頭部，然后傳輸給接收端；

3）接收端對接收到的數據包解碼，然后根據數據包頭部獲取已經成功接收的數據包的視頻畫面像素范圍，從而得出丟失的數據包中的視頻畫面像素范圍；

4）接收端根據數據包頭部記載的子畫面分割方式將解碼得到的各個子畫面合成最終畫面，再根據已正確解碼的像素值，采用插值的方式恢復丟失像素的數據，得到恢復的視頻畫面。

2.根據權利要求1所述的無線網絡視頻流抗丟包預處理及恢復方法，其特征在于，所述步驟1）的具體流程為：

將原視頻畫面分割成PxQ個小矩形塊，然后將原畫面視頻的像素(x,y)映射到第(x?mod?P?,?y?mod?Q)個小矩形塊中的像素(?floor(x/P)?,?floor(y/Q)?)上，最終得到的小矩形塊即為子畫面，其中，P為分割的小矩形塊的列數，Q為分割的小矩形塊的行數，x為原畫面像素的橫坐標，y為原畫面像素的縱坐標，mod為取余運算，floor（*）為向下取整運算。

3.根據權利要求2所述的無線網絡視頻流抗丟包預處理及恢復方法，其特征在于，所述步驟2）中，數據包上標記的頭部包含以下信息：原視頻畫面分割成小矩形塊的列數P和行數Q的取值，子畫面包含的像素位置范圍。

4.根據權利要求1、2或3所述的無線網絡視頻流抗丟包預處理及恢復方法，其特征在于，所述步驟2）中基于實時傳輸協議傳輸將數據包給接收端。

5.根據權利要求1、2或3所述的無線網絡視頻流抗丟包預處理及恢復方法，其特征在于，所述步驟3）中，接受端對于每幀圖像建立一個標識區記錄已經成功接收的數據包的視頻畫面像素范圍，當該幀將要播放的時候，將標識區中沒有記錄的像素范圍作為丟失的像素數據范圍。

6.根據權利要求1、2或3所述的無線網絡視頻流抗丟包預處理及恢復方法，其特征在于，所述步驟4）中，在將子畫面合成最終畫面后，檢查丟失的像素范圍，對于每個丟失的像素，根據其相鄰像素，采取插值的方式恢復出丟失像素的數據。

7.根據權利要求6所述的無線網絡視頻流抗丟包預處理及恢復方法，其特征在于，所述步驟4）中，采取插值的方式恢復出丟失像素的數據的流程為：

a）分別計算每個丟失像素與其上下左右四個方向上距離最近的已接收像素M、N、P、Q的距離dx1,dx2,dy1,dy2，其中像素M、N在該丟失像素的左右側，像素P、Q在該丟失像素的上下側，定義橫向失真距離dx=?dx1+dx2，縱向失真距離dy=dy1+dy2，失真距離d=min(dx,dy)，其中min(dx,?dy)表示取dx和dy中較小者；

b）將所有丟失像素按失真距離d的大小進行排序，取d最小的丟失像素，按照線性插值法進行插值，若dx≤dy，則丟失像素的色彩值Y=YM+dx1*(YN-YM)/dx，其中YM為像素M的色彩值，YN為像素N的色彩值；若dx>dy，則丟失像素的色彩值Y=YP+dy1*(YQ-YP)/dy，其中YP為像素P的色彩值，YQ為像素Q的色彩值；

c）將插值完成的像素加入到已接收像素集合中，判斷是否還有丟失像素的數據沒有恢復，如是則返回步驟a），否則完成丟失像素的插值恢復。