[發明專利]基于逆向重建網格的視頻重定向質量客觀評價方法

有效

• 申請號: 202110563933.1
• 申請日: 2021-05-24
• 公開（公告）號: CN113298779B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 唐振華;董偉鑫;趙祖翌;李喆;覃團發
• 申請（專利權）人: 廣西大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V20/40;G06V10/46;H04N17/00;G06F16/53
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明公開了一種基于逆向重建網格的視頻重定向質量客觀評價方法，包括：對重定向視頻幀劃分均勻網格，并利用SIFT方法對重定向前后的視頻幀進行特征點匹配，將初始網格頂點逆向重建，從而在原始視頻幀中獲得對應的網格頂點；采用空間幾何失真、空間結構失真和局部信息丟失這個三個指標來衡量重定向視頻的空域失真；采用時間網格失真指標來衡量重定向視頻的時間連續性；對空間網格失真和時間網格失真進行加權融合，從而得到重定向視頻的整體質量。本發明基于逆向網格重建實現全參考的視頻重定向質量客觀評價，根據SIFT方法匹配像素點，將初始網格頂點逆向重建，從而得到重建網格，避免了原始視頻與重定向視頻尺寸不匹配的問題。

技術領域

本發明屬于通信技術領域，更具體地，涉及一種基于逆向重建網格的視頻重定向質量客觀評價方法。

背景技術

隨著各種各樣的多媒體終端的普及應用，人們可以隨時隨地觀看媒體視頻，既能享受寬大屏幕帶來的視覺盛宴，又可以體驗小尺寸屏幕帶來的輕巧便捷。由于不同的應用場景需要及人們的不同需求，這些顯示終端往往包含多種不同的分辨率和寬高比。例如，目前智能手機的顯示屏尺寸從5.0英寸到6.95寸不等，屏幕的寬高比有16:9、16:10和21:9等不同的規格。固定尺寸的原始視頻在不同分辨率和寬高比的終端顯示時受到不同程度的拉伸或擠壓，不僅會造成顯示屏幕空間的浪費，而且還會嚴重影響用戶的觀看體驗。為了避免該現象，需要對視頻內容進行必要的縮放調整，以適應終端設備的顯示尺寸。為了適應不同設備的顯示要求，根據視頻內容自適應地調整其分辨率或寬高比，在避免視頻重要內容出現變形或丟失的同時，保持視頻流暢的播放效果，這一過程被稱為基于內容感知的視頻重定向(Content-aware Video Retargeting)^[1]-[5]。

現有的基于內容感知的視頻重定向算法可粗略地分為以下幾種：基于細縫裁剪方法(Seam Carving)^[6]-[9]、基于網格變形方法(Warping)^[10]-[13]，基于多算子的視頻重定向算法^[14]-[16]，以及基于深度學習^[17]-[19]的算法。但是，對于特征各異的視頻內容而言，一種特定的算法往往難以獲得質量理想的縮放結果，重定向視頻中或多或少地存在空域失真或時域失真^[20,21]。因而，對重定向視頻的質量進行評價不僅可以了解視頻重定向算法的各方面性能，從而有利于在實際應用中選擇合適的重定向算法進行視頻縮放，而且為改進視頻重定向算法的性能提供了評價基準。

現有的視頻重定向質量評價方法主要分為兩種類型：主觀評價和客觀評價。視頻重定向質量的主觀評價需要組織一批測試者觀看重定向視頻，并根據既定的測試原則和流程對重定向視頻的質量做出評價。主觀評價過程費時耗力，且容易受到測試者的知識背景和觀測環境等因素的影響。而視頻重定向客觀評價根據算法自動地生成重定向視頻質量評價結果(分數)，該過程方便快捷，不需要人為參與，不容易受環境等因素干擾，并且客觀評價算法的可移植性高，容易移植到新型的實時視頻應用中。