[發明專利]視頻監控中支持解碼幀率控制的虛擬VDP裝置及應用

在審

• 申請號: 202111508127.0
• 申請日: 2021-12-10
• 公開（公告）號: CN114189712A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 高金鎖;孫德印;梅佳希;胡磊;董虎;劉小波
• 申請（專利權）人: 眸芯科技（上海）有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;H04N7/18;H04N19/85;H04N19/44
• 代理公司: 上海圖靈知識產權代理事務所(普通合伙) 31393
• 代理人: 謝微

本發明公開了視頻監控中支持解碼幀率控制的虛擬VDP裝置及應用，涉及視頻處理技術領域。所述裝置包括VDH模塊，VPSS模塊和虛擬VDP模塊；VDH模塊根據視頻解碼固件的解析結果和配置對視頻碼流進行解碼并產生解碼數據；VPSS模塊接收解碼后的數據并進行視頻處理，將處理后的視頻傳輸至虛擬VDP模塊；虛擬VDP模塊創建私有視頻緩存池，與VPSS模塊進行buffer輪轉，并對整個通路的幀率進行控制；其中，對應虛擬VDP模塊設置有幀率控制單元，其用于控制虛擬VDP模塊的buffer處理速率，來控制VPSS模塊處理幀率和VDH模塊解碼幀率。本發明在不送顯場景能夠顯著地降低系統內存需求和硬件需求。

技術領域

本發明涉及視頻處理技術領域，尤其涉及一種視頻監控中支持解碼幀率控制的虛擬VDP裝置及應用。

背景技術

在視頻監控行業中，視頻解碼器由運行于ARM處理器的視頻解碼固件VFMW(videofirmware)和內嵌的硬件視頻解碼引擎VDH(video decoding module for highdefinition)構成。所述視頻解碼固件VFMW從上層軟件獲得碼流，對碼流進行解析并調用VDH，產生解碼圖像序列。解碼后的數據流在上層軟件的控制下，綁定視頻處理子系統VPSS(video processing sub system)并將數據送給視頻處理子系統VPSS，然后再通過視頻顯示處理器VDP(video display processor)模塊輸出到顯示器或者其他設備。作為典型方式的舉例，圖1示例了監控視頻圖像的標準顯示流程：（1）首先，VDP創建私有視頻緩存池(即，Private VB池，全稱Private video buffer pool)，以用于進行圖像顯示。（2）VDH調用從公共視頻緩存池（即，Common VB池，全稱Common video buffer pool），從公共視頻緩存池獲取公共VB塊（即，公共緩存塊）。（3）VDH解碼處理完公共VB塊將緩存（buffer）傳給VPSS，VPSS占用傳過來的公共VB塊。（4）VPSS從VDP獲取私有VB塊（即，私有緩存塊），并占用該傳過來的私有VB塊。（5）VPSS處理完第（4）步傳過來的私有VB塊后，將緩存（buffer）傳給VDP，VDP占用該傳過來的私有VB塊。（6）VPSS調用用戶子模塊user_sub，釋放第三步VDH傳過來的公共VB塊。（7）通過VDP將數據輸出到顯示器以顯示圖像。上述視頻顯示處理器VDP，通常是根據顯示視頻的實際分辨率來分配每一幀的片外幀緩存空間大小，根據實際需要的緩沖隊列深度來分配幀緩存的幀數，這樣可以實現緩存隊列分配一定程度的自適應。

目前的安防監控系統中，在創建VDP通道（或稱通路），通常是對每個通道分配恒定的幀緩存大小。其中，對于一些不需要送顯的特殊場景——比如有些場景只需要正常解碼，在數據送給VPSS輪轉后不再需要將數據送到VDP模塊送到顯示——也是采用上述流程那樣創建標準顯示流程，并對每個通道分配恒定的幀緩存大小。上述方案一方面增加了硬件VDP設備的浪費，另一方面還會造成幀緩存內存的資源緊張和帶寬的大壓力。作為舉例，以創建一個VDP通道為例，如果采用YUV422輸出格式，假設設置三個輪轉緩存（buffer），按照上述常規顯示流程，VDP需要按照實際顯示的尺寸創建私有視頻緩存（buffer）池，比如4K@30的顯示分辨率就需要創建3840*2160*2*3，大概需要47M的內存。如果創建多個通道，對于輸入視頻分辨率和數量確定得多路解碼的應用場景，現有的顯示通道創建所需要分配的幀總的緩存空間尺寸是基本固定的，其大小等于顯示分辨率每幀的緩存 * 幀緩沖buffer個數 *多個通道的個數。比如有4路（VDH-VPSS-VDP通道）獨立運行，按照每路3個4K顯示緩存，系統就需要為VDP模塊總共分配188M（即，47M*4）左右的內存。隨著顯示分辨率和設備個數的提升，視頻顯示單元的內存和帶寬也顯著增加，最新的超高清顯示器中支持的尺寸已經達到了8K，如果還是用VDP硬件資源，大概需要分配752M左右的內存（將上述顯示分辨率換成8K顯示），創建顯示的緩存所需要的片外存儲器成本非常高。

綜上所述，對于需要正常解碼而不需要送顯的應用場景，如何在保證VDH正常解碼基礎上，優化硬件資源和幀緩存大小以減小硬件資源浪費和降低系統帶寬，是當前亟需解決的技術問題。