[發明專利]一種利用GPU并行加速圖像轉換的屏幕圖像獲取方法

有效

• 申請號: 201510551426.0
• 申請日: 2015-08-31
• 公開（公告）號: CN105163128B
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 陸璐;古偉楷
• 申請（專利權）人: 華南理工大學
• 主分類號: H04N19/436
• 分類號: H04N19/436;H04N19/40;H04N19/186
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 陳宏升

1.一種利用GPU并行加速圖像轉換的屏幕圖像獲取方法，其特征在于，包括以下步驟：

利用GDI圖形設備接口獲取實時系統屏幕圖像即RGB32圖像，并基于OpenCL異構計算框架，利用GPU并行計算將獲得的RGB32圖像轉換為視頻編解碼適用的YUV420圖像，最終將YUV420圖像數據推送出去；

所述的獲取實時系統屏幕圖像，是通過DirectShow Filter實現的，DirectShow Filter命名為Screen Recorder，Screen Recorder僅具有一個輸出Pin，輸出Pin的媒體類型為視頻流MEDIATYPE_Video/MEDIASUBTYPE_NV12，Screen Recorder的整體對外功能為按設定的頻率獲取屏幕區域圖像，并將其以YUV 4:2:0圖像數據的NV12格式碼流輸出；

所述的Screen Recorder，其工作流程為：

Screen Recorder獲取到屏幕區域圖像后，根據圖像大小創建OpenCL Buffer用以存放圖像數據，用來和GPU設備進行數據傳輸；

將圖像數據寫入到OpenCL Buffer中后，對OpenCL Buffer中的圖像根據用戶設置的圖像處理要求進行相應的圖像處理工作；

圖像處理完成后，將OpenCL Buffer中的圖像數據從RGB顏色空間的位圖圖像數據格式轉換為YUV 4:2:0圖像數據的NV12格式存放；

完成圖像數據轉換后，從OpenCL Buffer中讀取NV12格式圖像數據回到系統內存中；

最后根據輸出媒體類型將此圖像數據封裝成Sample并傳遞給下游Filter中，進入下一次獲取屏幕區域圖像的循環中。

2.根據權利要求1所述的利用GPU并行加速圖像轉換的屏幕圖像獲取方法，其特征在于：所述的圖像處理和圖像數據轉換，都以OpenCL Buffer作為圖像數據的存儲載體，即這部分圖像處理和圖像數據轉換工作過程中，圖像數據都存放在GPU管理的顯存中，和CPU管理的系統內存之間沒有額外的數據傳輸操作；直到圖像數據轉換成NV12格式圖像數據后，才從OpenCL Buffer中取回輸出的圖像數據到系統內存中。

3.根據權利要求1所述的利用GPU并行加速圖像轉換的屏幕圖像獲取方法，其特征在于：所述的圖像處理和圖像數據轉換，都在GPU上進行，并且只進行了兩次host端和device端之間的數據傳輸，分別是：(1)進行圖像處理和圖像數據轉換前，將圖像數據從host端傳輸到device端；(2)圖像處理和圖像數據轉換完成后，將圖像數據從device端取回到host端中。

4.根據權利要求1所述的利用GPU并行加速圖像轉換的屏幕圖像獲取方法，其特征在于，所述的GPU并行計算，包含以下步驟：

對轉換圖像的每個2×2像素區域安排一個work-item進行顏色空間轉換和色度亞采樣計算；

每個work-item從輸入的RGB32圖像中讀取對應像素數據，并將計算結果數據按照NV12圖像存儲格式存放到輸出圖像中；

對轉換圖像的每個16×16像素區域的顏色空間轉換和色度亞采樣計算工作安排在一個work-group中進行，每個work-group的大小為8×8，其中有64個work-item。

5.根據權利要求1或4所述的利用GPU并行加速圖像轉換的屏幕圖像獲取方法，其特征在于：所述的GPU并行計算，具體包含以下步驟：

進行濾波計算前，檢查當前work‐item對應像素位置是否超出處理圖像范圍，若超出則不進行后續計算和操作；

從輸入的RGB32圖像讀入2×2像素區域數據時，使用內置內存訪問函數vload8分別將2對連續存放的2個像素點的4個通道分量一次性讀取到寄存器中；對于輸入圖像共進行了2次內存讀取的訪問請求；

根據輸入的4個RGB32像素數據，計算得出4個亮度Y值和1對色度UV值；

將4個亮度Y值和1對色度UV值寫入輸出圖像時，使用內置內存訪問函數vstore2分別將2對連續存放的2個像素點的亮度Y值和1對色度UV值一次性寫入到輸出圖像的Y‐plane和UV‐plane中，對于輸出圖像共進行了3次內存寫入的訪問請求。