[發明專利]一種人機協同的視頻編碼方法及視頻編碼系統

有效

• 申請號: 201911408329.0
• 申請日: 2019-12-31
• 公開（公告）號: CN113132732B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉家瑛;段凌宇;胡越予;夏思烽;楊文瀚
• 申請（專利權）人: 北京大學
• 主分類號: H04N19/187
• 分類號: H04N19/187;H04N19/30;H04N19/44;H04N19/146;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

本發明公開了一種人機協同的視頻編碼方法及視頻編碼系統。本方法為：1)對于一段待編碼視頻以及對應的關鍵點序列，編碼器首先對關鍵點序列進行編碼壓縮，形成關鍵點序列碼流；然后從待編碼視頻中選取一幀并編碼，作為參考幀，形成參考幀碼流；根據關鍵點序列和參考幀生成一預測視頻；2)降低該待編碼視頻的分辨率；計算該真實低分率視頻與預測視頻信號之間的殘差，根據各幀的殘差組成一殘差視頻序列并將其編碼成殘差碼流；3)編碼器根據需求將碼流選擇性的傳輸到解碼器；如果為機器視覺任務，則根據關鍵點碼流重建得到關鍵點序列；如果需要重建視頻序列，則根據三碼流重建得到原分辨率視頻。本發明根據應用需求，提供可伸縮的視頻編碼。

技術領域

本發明主要涉及視頻壓縮編碼以及視頻處理與理解技術，尤其涉及一種人機協同的視頻編碼方法。

背景技術

近年來，影像采集技術獲得了長足發展，帶動了基于影像的人工智能系統的突飛猛進，機器視覺系統逐漸被廣泛應用于日常生活的方方面面，越來越多的被采集的圖像需要被機器視覺系統所處理分析，圖像視頻編碼器的設計需要逐漸關注機器視覺系統的應用需求。

人眼視覺與機器視覺需求的區別主要體現在兩個方面。其一，人眼直接接受圖像信號，因此信號的保真度是人眼視覺質量的關鍵因素；而機器視覺系統對圖像的分析基于圖像特征，相比于圖像信號，圖像特征表示往往更加緊湊，因此傳輸圖像特征表示所需要的碼率遠遠小于圖像信號本身。其二，人眼作為傳統視頻編解碼框架的主要終端需要直接接受圖像信號，因此以上述框架為基礎的機器視覺終端，其分析運算需要在解碼器后進行。隨著硬件技術的發展，智能影像采集設備具有一定的運算處理能力，因此為機器視覺設計的編解碼框架能夠進行分布式的運算處理，其整體性能能夠被進一步提升。

在過去的幾十年間，為人眼視覺優化的高效視頻編解碼器已經取得了巨大的進步，而隨著計算機視覺技術的發展，圖像生成和重建問題逐漸得到解決，以上技術使得人機協同的視頻編解碼器的實現成為可能。

發明內容

本發明在上述技術背景的前提下，構建基于條件生成模型的人機協同的視頻編碼方法及視頻編碼系統。具體來說，本發明分為編碼器和解碼器兩個部分。編碼器接受來自采集設備的視頻以及對應的視頻中運動的人體的關鍵點信息(采集設備對采集的視頻進行處理得到關鍵點信息)。對于一段待編碼視頻片段以及對應的關鍵點序列，本發明中的編碼器首先對關鍵點序列進行無損編碼壓縮，形成關鍵點序列碼流。然后，使用視頻編碼器編碼待編碼視頻的第一幀，作為參考幀，形成參考幀碼流。參考幀與關鍵點序列兩者能夠在一定程度上分別表達視頻中人的外貌信息和動作信息。根據關鍵點序列中的關鍵點，進一步產生關鍵點圖。具體來說，首先按照參考幀分辨率初始化全為0的圖像，在每個關鍵點位置上，畫出RGB像素值均為255的圓形，根據關鍵點對應的骨骼結構，在存在骨骼連接的兩個關鍵點之間，畫出像素值均為255的線段，形成關鍵點圖。關鍵點圖與參考幀均降采樣到低分辨率(短邊為128像素)，兩圖在通道維度上拼接后，使用Pixel2Pixel網絡結構，在編碼器中形成大致的包含動作的預測視頻。由于全分辨率的預測較為困難，實際上，在編碼器中會根據關鍵點序列和低分辨率參考幀形成低分辨率預測視頻。

預測出的低分辨率視頻，與待編碼視頻在降低分辨率之后得到的真實低分辨率視頻之間仍然存在差異，為了減少由于碼率較小導致的最終解碼器的重建降質，在本發明中，首先計算真實低分辨率視頻與預測的低分辨率視頻信號之間的殘差，視頻中每一幀的殘差被重新組成為殘差視頻序列，使用視頻編碼器編碼成殘差碼流。殘差碼流中包含了對預測誤差的補償。