[發明專利]一種Camera中間層圖像處理方法及片上系統

有效

• 申請號: 201710493813.2
• 申請日: 2017-06-26
• 公開（公告）號: CN109120938B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 趙丙山
• 申請（專利權）人: 深圳市中興微電子技術有限公司
• 主分類號: H04N19/42
• 分類號: H04N19/42;H04N19/44;H04N19/80;G06F9/54
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

一種Camera中間層圖像處理方法及片上系統，通過增加容錯處理，預先修復存在異常或丟失的視頻數據，減少解碼視頻數據時報錯的概率，進而盡可能通過解碼器進行硬件解碼，減少調用軟件解碼的概率，提高片上系統的解碼性能。同時，本發明還增加了過濾處理的步驟，以滿足后續模塊的要求，提升系統顯示性能。本發明，還將片上系統的多核中央處理器分別綁定不同線程，實現軟、硬件并行操作，進一步提升片上系統的顯示性能。此外，從顯示質量來看，由于本發明，針對所述片上系統，選擇了更優的解碼數據格式，因而，在保證顯示性能的同時，本發明能夠進一步提供更高的顯示質量。

技術領域

本發明涉及Camera中間層技術，尤其涉及一種Camera中間層的圖像處理方法及片上系統。

背景技術

隨著移動網絡嵌入式的普及和發展，嵌入式設備中的片上系統(SoC，System onChip)的功能越來越強大，因此，嵌入式設備的應用也就越來越廣泛，例如用戶可以將各種多媒體應用程序(APP，application)例如可視通話APP，在線會議APP等安裝到嵌入式系統中，以便實時的跟對方進行溝通。以在線會議為例，對圖像顯示的效果要求很高，因而圖像顯示實時性和流暢度是人們衡量和購買嵌入式設備的重要指標。

在線會議的應用場景一般是發生在兩個機頂盒終端之間或者是機頂盒終端跟手機或者其他支持該功能的網絡設備之間。通信的兩個設備之間需要保證能跟應用平臺服務器聯通，這樣才能互相通信。設備上安裝相關應用，并注冊一個賬號，然后登錄，登錄成功后，就可以撥打需要通信的對端的賬號來進行視頻通話。

上述多媒體APP在運行的過程中，都是基于視頻的實時播放，換句話說，視頻的編碼和解碼是嵌入式系統的一個重要組成部分。與個人計算機(PC)上的操作系統不同，由于嵌入式系統本身硬件的條件限制，目前嵌入式設備的編碼和解碼速度和效果卻不盡人意。由于視頻的播放涉及到圖像解碼，而現有片上系統中央處理器(CPU)的計算能力有限，如果這些圖像編、解碼都由中央處理器來處理，那這對CPU來說將帶來一個很大的負載。

現有技術中，嵌入式設備的片上系統在進行視頻圖像編解碼時往往遇到以下兩種情況：一種是沒有專門的用于進行圖形處理的圖像編碼器和圖像解碼器；一種是有相應的硬件處理，但是硬件處理的能力有限，對于存在異常的片源完全無法處理。這兩種情況都會直接或者間接的把圖形編碼和解碼操作全部交給CPU來處理，進而加大CPU的負載，降低系統的整體性能。對用戶層面，主要表現為，視頻會議通話時界面顯示卡頓，最終影響用戶的體驗。

發明內容

為了解決現有技術存在的不足，本發明的目的在于提供一種Camera中間層圖像處理方法及片上系統。

首先，為實現上述目的，提出一種Camera中間層圖像處理方法，包括以下步驟：

第一步，接收調用請求；

第二步，響應所述調用請求，對軟件資源與硬件資源進行初始化；

第三步，根據所述初始化結果判斷是否支持硬件解碼，根據所述調用請求中的視頻數據判斷是否進行容錯處理，若進行所述容錯處理，則跳轉至第四步；否則，跳轉至第五步；

第四步，分析所述視頻數據，判斷是否存在數據丟失或異常，若不存在數據丟失或異常，則直接跳轉至第五步；否則，先進行數據修復，再跳轉至第五步；

第五步，若所述第三步中判斷支持硬件解碼，則調用解碼器接口，由所述解碼器對所述視頻數據進行硬件解碼；否則，調用軟件庫對所述視頻數據進行軟件解碼；獲得解碼數據；

第六步，過濾處理，分析第五步中獲得的所述解碼數據，檢測是否存在數據異常，若存在數據異常，則丟棄存在數據異常的所述解碼數據，跳轉至第七步；否則，直接跳轉至第七步；

第七步，輸出所述解碼數據至幀緩沖設備；或將所述解碼數據進行OMX框架層編碼后，輸出至網絡層。