[發明專利]一種面向物聯網監控的雙碼流人臉分辨率保真的視頻編解碼方法

有效

• 申請號: 201910618148.4
• 申請日: 2019-07-10
• 公開（公告）號: CN110324626B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 肖晶;肖尚武;陳宇;彭冬梅;廖良;朱榮
• 申請（專利權）人: 武漢大學蘇州研究院;武漢大學
• 主分類號: H04N19/177
• 分類號: H04N19/177;H04N19/132;H04N19/59;H04N19/186;H04N19/577;H04N7/18;H04N21/8547;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 羅飛

1.一種面向物聯網監控的雙碼流人臉分辨率保真的視頻編碼方法，其特征在于，包括：

步驟S1：獲取原始監控視頻圖像，采用MTCNN卷積神經網絡對監控視頻圖像中的關鍵幀進行檢測，采用KCF算法對監控視頻圖像中的非關鍵幀進行多人臉跟蹤，獲得原始監控視頻圖像中所有幀的人臉原始分辨率圖像；

步驟S2：對原始監控視頻圖像進行下采樣得到低分辨率圖像，對低分辨率圖像進行編碼得到低分辨率基本層碼流，且編碼基本碼流時，標注時間戳；

步驟S3：對步驟S2中得到的低分辨率圖像進行上采樣，得到與原始監控視頻圖像相同分辨率的第一圖像，將人臉原始分辨率圖像填充至上采樣后的第一圖像中，融合得到第二圖像，將第二圖像與第一圖像作差，得到人臉區域的差值信息；

步驟S4：對步驟S3中得到的人臉區域的差值信息進行編碼，得到人臉恢復層碼流。

2.如權利要求1所述的方法，其特征在于，步驟S1具體包括：

步驟S1.1：通過高分辨率監控攝像頭采集獲得原始監控視頻圖像，并對原始監控視頻圖像進行圖像預處理；

步驟S1.2：確定圖像組間隔和編碼方式，在每一個圖像組GOP中，第一幀為關鍵幀I幀，其余幀為P幀；

步驟S1.3：輸入I幀圖像至MTCNN模型中，檢測得到圖像中所有人臉，并標注人臉檢測框，緩存該幀人臉原始圖像，存儲人臉在圖像中的坐標位置參數；

步驟S1.4：讀取I幀中所有人臉，以此為基準創建多目標跟蹤對象，采用KCF核相關濾波算法，訓練得到所有人臉區域對應的回歸器；

步驟S1.5：輸入后續的P幀，在前一幀的目標位置的周圍預設區域進行采樣，采用訓練出的回歸器在采樣位置與跟蹤對象圖像進行比對操作，記錄所有采樣點的響應值，將響應值最大且滿足閾值的確定為人臉跟蹤區域，截取并緩存跟蹤得到的人臉圖像，存儲人臉的空域坐標參數，獲得所有幀人臉原始分辨率圖像。

3.如權利要求1所述的方法，其特征在于，步驟S2具體包括：

步驟S2.1：將原始監控視頻圖像采用指定的下采樣濾波器進行處理，得到低分辨率圖像；

步驟S2.2：對低分辨率圖像，采用HEVC標準的編碼器x265編碼處理得到監控畫面的基本碼流，且編碼基本碼流時，標注時間戳。

4.如權利要求2所述的方法，其特征在于，步驟S3具體包括：

步驟S3.1：將步驟S2中得到的低分辨率圖像采用雙線性插值濾波器進行上采樣處理，得到與原始監控視頻圖像相同分辨率的第一圖像P1；

步驟S3.2：取對應幀緩存的人臉數據，讀取人臉在圖像中的坐標位置參數，將人臉原始分辨率圖像填充至上采樣后的第一圖像P1中，融合得到人臉清晰、背景模糊的第二圖像P2；

步驟S3.3：將P2減去P1，得到圖像的差值信息，作為待編碼的人臉恢復碼流，具體包括：將第二圖像P2和上采樣得到的圖像P1轉為yuv格式，三通道分別做差值處理，此時背景區域信息為零，人臉區域為相同分辨率下高清人臉和上采樣后低清人臉的差值，具體計算方式如公式(1)：

其中，Y、U、V分別為亮度和兩個色度分量，下角標d表示三個通道分量的差值信息，角標P1、P2分別標注低清上采樣圖像和融合高清人臉后的圖像。

5.如權利要求4所述的方法，其特征在于，所述方法還包括：

步驟S3.4：對得到的人臉圖像的差值信息進行后處理，補充得到所有幀的全部差值序列。