[發明專利]視頻流誤碼掩蓋方法、裝置、終端設備和可讀存儲介質

有效

• 申請號: 202111101332.5
• 申請日: 2021-09-18
• 公開（公告）號: CN113810721B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 郭春磊;李榮;羅小偉
• 申請（專利權）人: 展訊通信（天津）有限公司
• 主分類號: H04N19/42
• 分類號: H04N19/42;H04N19/43;H04N19/172;H04N19/166;H04N19/895
• 代理公司: 北京匯思誠業知識產權代理有限公司 11444
• 代理人: 高飛

本申請實施例提出了一種視頻流誤碼掩蓋方法、裝置、終端設備和計算機可讀存儲介質，上述視頻流誤碼掩蓋方法中，通過接收當前視頻幀，控制硬件解碼器對當前視頻幀進行解碼和誤碼檢測，獲得解碼幀和誤碼信息；若所述誤碼信息指示所述當前視頻幀存在誤碼塊，根據所述誤碼信息計算誤碼復雜度值；基于預存的誤碼復雜度值與誤碼補償算法對應關系，根據誤碼復雜度值選擇對應的誤碼補償算法，采用選擇的誤碼補償算法對解碼幀進行誤碼補償的方法，在保證誤碼掩蓋實時性的基礎上節省了芯片面積、降低了設備功耗，進而節約了產品成本。

【技術領域】

本申請實施例涉及智能終端技術領域，尤其涉及一種視頻流誤碼掩蓋方法、視頻流誤碼掩蓋裝置、終端設備和計算機可讀存儲介質。

【背景技術】

TCP和UDP是兩個具有代表性的網絡通信協議。由于UDP通信不需要建立連接，實時性優于TCP協議，因此在某些實時性要求高的場景，比如電話會議、手機運營商提供的視頻通話服務中使用的是UDP通信協議。但是UDP的缺點是在網絡條件不好的情況下會出現丟包，如果視頻接收端的解碼器沒有誤碼掩蓋的算法，解碼之后的視頻幀就會出現畫面不完整、馬賽克等現象。

目前視頻解碼器可分為軟件解碼器和硬件解碼器，軟件解碼器的優點是實現靈活，易于修改和方案升級，但占用CPU資源，且功耗較高；硬件解碼器的優點是功耗較低，解碼速度快，不占用CPU的資源，但其設計周期長，且一旦芯片流片，所有邏輯無法修改。

因此，在實時性要求高、功耗要求嚴格的場景中，如何在節省芯片面積、降低設備功耗的同時實現視頻解碼器的誤碼掩蓋功能，是目前亟需解決的技術問題。

【發明內容】

本申請實施例提供一種視頻流誤碼掩蓋方法、裝置、終端設備和計算機可讀存儲介質，采用軟硬件協同的方法進行視頻流誤碼掩蓋，在保證誤碼掩蓋實時性的基礎上節省了芯片面積、降低了設備功耗，進而節約了產品成本。

第一方面，本申請實施例提供一種視頻流誤碼掩蓋方法，包括：接收當前視頻幀，控制硬件解碼器對當前視頻幀進行解碼和誤碼檢測，獲得解碼幀和誤碼信息；若所述誤碼信息指示所述當前視頻幀存在誤碼塊，根據所述誤碼信息計算誤碼復雜度值；基于預存的誤碼復雜度值與誤碼補償算法對應關系，根據所述誤碼復雜度值選擇對應的誤碼補償算法，采用選擇的所述誤碼補償算法對所述解碼幀進行誤碼補償。

上述視頻流誤碼掩蓋方法中，在終端設備接收當前視頻幀后，控制硬件解碼器對當前視頻幀進行解碼和誤碼檢測，獲得解碼幀和誤碼信息；若誤碼信息指示當前視頻幀存在誤碼塊，則根據誤碼信息計算誤碼復雜度值；再基于預存的誤碼復雜度值與誤碼補償算法對應關系，根據誤碼復雜度值選擇對應的誤碼補償算法，采用選擇的誤碼補償算法對解碼幀進行誤碼補償。上述方法通過硬件邏輯負責復雜度高且一旦完成基本不需要升級改動的視頻解碼及誤碼檢測部分，由軟件程序實現誤碼補償部分，在節省芯片面積、降低設備功耗的同時，實現了智能終端視頻解碼器的誤碼掩蓋功能。

其中一種可能的實現方式中，所述誤碼信息包括視頻幀接收時間、誤碼塊出現起始位置和解碼完成時間，所述接收當前視頻幀，控制硬件解碼器對當前視頻幀進行解碼和誤碼檢測，獲得解碼幀和誤碼信息包括：接收當前視頻幀，記錄視頻幀接收時間；控制硬件解碼器對當前視頻幀進行解碼，若硬件解碼器解碼到誤碼塊，則終止當前視頻幀的解碼，生成解碼幀和誤碼塊出現起始位置；記錄解碼完成時間。

其中一種可能的實現方式中，若所述誤碼信息指示所述當前視頻幀存在誤碼塊，根據所述誤碼信息計算誤碼復雜度值包括：根據視頻幀接收時間、解碼完成時間和每幀圖像解碼總時間計算出解碼時間占比值；根據誤碼塊出現起始位置和當前視頻幀總編碼塊數計算出誤碼塊占比值；根據所述解碼時間占比值、所述誤碼塊占比值、預存的解碼時間占比值系數和預存的誤碼塊占比值系數計算出誤碼復雜度值。