[發明專利]用視頻壓縮編碼信息提取視頻關鍵幀的方法

有效

• 申請號: 202011642920.5
• 申請日: 2020-12-31
• 公開（公告）號: CN112770116B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 艾達;梁嘉倩
• 申請（專利權）人: 西安郵電大學
• 主分類號: H04N19/147
• 分類號: H04N19/147;H04N19/19;H04N19/172;H04N19/42;H04N19/85;H04N19/70
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 申忠才

一種用視頻壓縮編碼信息提取視頻關鍵幀的方法，由提取深度和幀比特數特征、鏡頭切換檢測和提取關鍵幀組成。本發明采用視頻碼流中的編碼單元深度信息和幀比特數壓縮域特征進行鏡頭切換檢測，得到鏡頭片段，并進行關鍵幀提取。本發明充分利用壓縮域視頻無需解壓即可進行處理，減小了計算過程，縮短了處理時間，提高了處理速度。本發明與現有的方法經對比試驗，實驗結果表明，本發明方法的準確率提高了12.1％，召回率提高了5.3％，F值提高了8.4％，所提取的關鍵幀能很好地表達原始視頻的主要內容。本發明方法具有計算量小、效率高、準確率高、處理速度快等優點，可用于對視頻圖像的處理。

技術領城

本發明屬于數字視頻檢索技術領域，具體涉及到用視頻壓縮編碼信息提取視頻關鍵幀的方法。

背景技術

隨著多媒體技術和網絡技術的快速發展，視頻數據迅速增長，出現了規模空前的數據，如何有效地管理視頻以及快速獲取視頻中重要的信息，成為一個研究的熱點。在這種背景下，提取關鍵幀成為解決這一難題的有效途徑，通過提取關鍵幀,不僅能大大減少視頻的數據量，而且能很好地將原始視頻的重要信息表達出來，節省了檢索時間，提高了視頻檢索的效率。

目前，對于關鍵幀的提取方法，國內外學者做了大量的研究工作，根據所處理的視頻數據對象，可以將這些方法分為像素域的關鍵幀提取和壓縮域的關鍵幀提取。像素域的關鍵幀提取方法是在視頻完全解壓縮后進行，計算量比較大，效率低，難以滿足實時要求。壓縮域視頻處理技術是直接面向數據量較小的壓縮視頻數據，在不解壓或者部分解壓的情況下對視頻進行處理，可以大大提高視頻的處理速度，因此壓縮域上的關鍵幀提取方法研究引起了廣泛關注。

Ali Reza等人提出了一種在H.265/HEVC壓縮域中的關鍵幀提取方法，采用從H.265/HEVC編碼視頻中提取幀內預測模式的歸一化直方圖進行相似幀檢測，使用模糊c均值聚類對相似幀進行分類，并提取關鍵幀。朱樹明等人提出了一種視頻編碼壓縮域的視頻摘要關鍵幀提取方法，在解碼端統計視頻編碼幀內編碼PU塊的亮度預測模式數目，并構建成模式特征向量，再利用融合迭代自組織數據分析算法(ISODATA)的自適應聚類算法對模式特征向量進行聚類得到候選關鍵幀，并通過相似度對候選關鍵幀進行再次篩選，剔除冗余幀，得到最終的關鍵幀。

上述方法的共同點是采用幀內預測模式值作為特征，且所做的實驗僅針對全幀內模式，對視頻幀的處理速度慢，處理時間長，不具有實用性。

發明內容

本發明所要解決的技術問題在于克服上述視頻幀處理方法的缺點，提供了一種無需解碼、計算量小、處理速度快、提取效率高的用視頻壓縮編碼信息提取視頻關鍵幀的方法。

解決上述技術問題所采用的技術方案由下述步驟組成：

(1)提取深度和幀比特數特征

按式(1)確定編碼單元的率失真代價J：

其中D_x,y和R_x,y分別表示編碼單元中第(x,y)個像素的失真和編碼比特數，x∈{1,2,…,H}，y∈{1,2,…,W}，W×H為視頻分辨率，λ≥0為拉格朗日系數，W和H為有限的正整數、且W＞H。

按式(2)確定編碼幀的深度特征向量F_n：

F_n＝{f₁,f₂,…,f_α} (2)

其中n表示視頻的第n個編碼幀，n∈{1,2,…,N}，N為視頻總幀數，N取值為有限的正整數，round()為向上取整函數，f_α為編碼單元的深度值，f_α的取值為0、1、2、3中的任意一個數。

按式(3)確定幀比特數R_n：