[發明專利]一種基于條帶I幀均衡編解碼系統及其方法

有效

• 申請號: 202210274463.1
• 申請日: 2022-03-21
• 公開（公告）號: CN114760472B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 陳尚武;倪仰;楊欣
• 申請（專利權）人: 杭州敘簡科技股份有限公司
• 主分類號: H04N19/124
• 分類號: H04N19/124;H04N19/146;H04N19/172;H04N19/503
• 代理公司: 杭州易中元兆專利代理有限公司 33341
• 代理人: 葉衛強

1.一種基于條帶I幀均衡編解碼系統，其特征在于，包括

視頻源幀產生模塊(1)，視頻源條帶編碼發送模塊(2)，條帶媒體接收模塊(3)，圖像QP監測模塊(4)，條帶網絡品質檢查模塊(5)，條帶接收調整模塊(6)，條帶中轉調整模塊(7)，條帶媒體發送模塊(8)，顯示端網絡品質檢查模塊(9)，顯示端媒體接收模塊(10)，顯示端解碼渲染模塊(11)；

視頻源幀產生模塊(1)：視頻源幀產生模塊(1)接收視頻源條帶編碼發送模塊(2)的視頻幀產生時間間隔，按照該時間間隔產生YUV視頻幀數據；

視頻源條帶編碼發送模塊(2)：視頻源條帶編碼發送模塊(2)接收視頻源幀產生模塊(1)的YUV視頻幀數據，接收條帶接收調整模塊(6)的視頻條帶調整信息，對YUV視頻幀數據進行編碼壓縮；視頻條帶調整信息包含按時間分片調整條帶信息，時間分片使用分片時長對UTC時間戳進行分片，每個時間分片序號為UTC時間戳的毫秒值/分片時長，視頻條帶調整信息包含分片時長I幀產生分片序號，P幀間分片數，I幀間分片數，以及圖像編碼量化QP最大值；

視頻源條帶編碼發送模塊(2)計算P幀間分片數*分片時長得到視頻幀產生時間間隔，把視頻幀產生時間間隔發送給視頻源幀產生模塊(1)，視頻源條帶編碼發送模塊(2)計算I幀產生UTC時間戳值為I幀產生分片序號＊分片時長，視頻源條帶編碼發送模塊(2)得到下個P幀的序號為I幀產生分片序號+P幀間分片數，視頻源條帶編碼發送模塊(2)通過累加P幀間分片數依次可以計算出所有P幀的序號，視頻源條帶編碼發送模塊(2)得到下個I幀序號為I幀產生分片序號+I幀間分片數，視頻源條帶編碼發送模塊(2)通過累加I幀間分片數可以得到所有I幀的序號，當產生I幀的序號與P幀的序號相同時，該時間分片只產生I幀，視頻源條帶編碼發送模塊(2)根據I幀與P幀產生UTC時間戳值的YUV視頻幀數據按照圖像編碼量化QP最大值編碼為視頻壓縮幀，對其按照大小分包并標識序號，將分包、分包序號與時間分片序號發送給條帶媒體接收模塊(3)；

條帶媒體接收模塊(3)：條帶媒體接收模塊(3)接收視頻源條帶編碼發送模塊(2)的視頻壓縮幀的分包與分包序號，條帶媒體接收模塊(3)計算幀組丟包率，幀組為一個I幀以及參考的P幀，條帶媒體接收模塊(3)計算幀組的每個幀的最后分包與首個分包的接收時間差，得到幀接收時差，取最大值為幀組最大幀接收時長，條帶媒體接收模塊(3)把幀組丟包率和幀組最大幀接收時長發送給條帶網絡品質檢查模塊(5)，條帶媒體接收模塊(3)把幀組的視頻幀分包數據發送給圖像QP監測模塊(4)，條帶媒體接收模塊(3)將視頻幀分包、分包序號與分片序號發送給條帶媒體發送模塊(8)；

圖像QP監測模塊(4)：圖像QP監測模塊(4)接收條帶媒體接收模塊(3)的幀組的視頻幀分包數據，圖像QP監測模塊(4)把幀組的視頻幀分包合并為視頻幀；圖像QP監測模塊(4)對視頻幀的所有宏塊獲取QP量化值，并取平均值得到過視頻幀QP量化值，圖像QP監測模塊(4)把對幀組的所有視頻幀的QP量化值得到幀組的QP量化值，圖像QP監測模塊(4)把幀組的QP量化值發送條帶接收調整模塊(6)；

條帶網絡品質檢查模塊(5)：條帶網絡品質檢查模塊(5)接收幀組丟包率與幀組最大幀接收時長；條帶網絡品質檢查模塊(5)計算該視頻源的量化參考值，當幀組最大幀接收時長大于基準值，量化參考值為幀組丟包率的平方值+(幀組最大幀接收時長-基準值)的平方值的和的開根值，當幀組最大幀接收時長小于基準值，量化參考值為幀組丟包率，條帶網絡品質檢查模塊(5)對量化參考值使用卡爾曼濾波器生成網絡量化估計值，避免少量網絡抖動誤差對網絡品質判斷，條帶網絡品質檢查模塊(5)把網絡量化估計值發送給條帶接收調整模塊(6)；

條帶接收調整模塊(6)：條帶接收調整模塊(6)接收條帶網絡品質檢查模塊(5)的網絡量化估計值，條帶接收調整模塊(6)接收圖像QP監測模塊(4)的幀組的QP量化值，條帶接收調整模塊(6)判斷幀組的QP量化值大與門限閥值，條帶接收調整模塊(6)把視頻源的圖像編碼量化QP最大值減少一個調整值，當視頻源處理細節較多導致幀組的QP量化值過高，從而導致實際圖像質量差的情況下，判斷視頻源條帶編碼發送模塊(2)到條帶媒體接收模塊(3)的網絡量化估計值小于下限閥值，通過減低圖像編碼量化QP最大值，來實現對該視頻源的圖像畫質提升，條帶接收調整模塊(6)把調整后所有視頻源，進行I幀的條帶分配，條帶接收調整模塊(6)使用分片時長對UTC時間戳進行分片，每個時間分片序號為UTC時間戳的毫秒值/分片時長，條帶接收調整模塊(6)取當前視頻幀調整周期，條帶接收調整模塊(6)依次對所有視頻源分配處理，條帶接收調整模塊(6)依次把每個視頻源的I幀產生分片序號，I幀間分片數，P幀間分片數，圖像編碼量化QP最大值，發送給視頻源條帶編碼發送模塊(2)，條帶接收調整模塊(6)把所有視頻源的I幀產生分片序號，I幀間分片數，P幀間分片數，圖像編碼量化QP最大值發送給條帶中轉調整模塊(7)；

條帶中轉調整模塊(7)：條帶中轉調整模塊(7)接收條帶接收調整模塊(6)所有視頻源的I幀產生分片序號，I幀間分片數，P幀間分片數，圖像編碼量化QP最大值，按照條帶接收調整模塊(6)的方法生成調整周期以及每個調整分片流量預計值，當一個視頻源被多個顯示端查看時，則在I幀產生分片序號的分片的流量預計值自加視頻源的I幀流量預計值，按照條帶接收調整模塊(6)的方法找到所有P幀分片，所有P幀分片的流量預計值自加視頻源的P幀流量預計值，視頻源的顯示端中轉流的I幀中轉分片序號為I幀產生分片序號，條帶中轉調整模塊(7)對復制流優先使用視頻源的條帶分片，保證視頻傳輸時延，當條帶中轉調整模塊(7)接收到顯示網絡品質檢測模塊(9)的網絡量化估計值，判斷顯示的網絡量化估計值大于閥值，則認為復制流不佳，進行復制流進行重新調整，條帶接收調整模塊(6)把調整周期的分片，為該視頻源I幀分片的流量預計值自減視頻源的I幀流量預計值，為該視頻源P幀分片的流量預計值自減視頻源的P幀流量預計值，條帶中轉調整模塊(7)給視頻源的復制流在調整周期上尋找流量預計值最低的分片，作為視頻源的復制流的I幀中轉分片序號，該分片的流量預計值自加視頻源的I幀流量預計值，條帶中轉調整模塊(7)按照條帶接收調整模塊(6)的方法找到所有P幀分片，所有復制流的P幀分片的流量預計值自加視頻源的P幀流量預計值，條帶中轉調整模塊(7)把視頻源到顯示端的I幀產生分片序號，I幀中轉分片序號，I幀間分片數，P幀間分片數發送給條帶媒體發送模塊(8)；

條帶媒體發送模塊(8)：條帶媒體發送模塊(8)接收條帶媒體接收模塊(3)視頻幀分包與分包序號與分片序號，條帶媒體發送模塊(8)接收條帶中轉調整模塊(7)的視頻源到顯示端的I幀產生分片序號，I幀中轉分片序號，I幀間分片數，P幀間分片數，條帶媒體發送模塊(8)計算中轉偏差值，條帶媒體發送模塊(8)發送視頻幀分包與分包序號給顯示端媒體接收模塊(10)；

顯示端網絡品質檢查模塊(9)：顯示端網絡品質檢查模塊(9)接收顯示端媒體接收模塊(10)的幀組丟包率與幀組最大幀接收時長，計算該中轉流的量化參考值，當幀組最大幀接收時長大于基準值，量化參考值為幀組丟包率的平方值+(幀組最大幀接收時長-基準值)的平方值的和的開根值，當幀組最大幀接收時長小于基準值，量化參考值為幀組丟包率，顯示端網絡品質檢查模塊(9)對量化參考值使用卡爾曼濾波器生成網絡量化估計值，避免少量網絡抖動誤差對網絡品質判斷，顯示端網絡品質檢查模塊(9)把網絡量化估計值發條帶中轉調整模塊(7)；

顯示端媒體接收模塊(10)：接收條帶媒體發送模塊(8)的視頻幀分包與分包序號，顯示端媒體接收模塊(10)通過統計幀組的分包數，得到幀組分包總數，通過統計幀組的分包數缺失分包序號確定幀組分包丟失數，幀組丟包率為幀組分包丟失數/幀組分包總數，幀組為一個I幀以及參考的P幀，條帶媒顯示端媒體接收模塊(10)計算幀組的每個幀的最后分包與首個分包的接收時間差，得到幀接收時差，取最大值為幀組最大幀接收時長，顯示端媒體接收模塊(10)把幀組丟包率與幀組最大幀接收時長發送給顯示端網絡品質檢查模塊(9)，顯示端媒體接收模塊(10)把視頻幀分包發送顯示端解碼渲染模塊(11)；

顯示端解碼渲染模塊(11)：顯示端解碼渲染模塊(11)接收顯示端媒體接收模塊(10)的視頻幀分包，合并視頻幀，并解碼渲染顯示。