[發明專利]一種實時圖像的提取方法

有效

• 申請號: 201910046846.1
• 申請日: 2019-01-18
• 公開（公告）號: CN109821236B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 孟憲民;李小波
• 申請（專利權）人: 恒信東方文化股份有限公司
• 主分類號: A63F13/52
• 分類號: A63F13/52;H04N5/268
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 陳變花

1.一種實時圖像的提取方法，其特征在于，包括：UE4采集客戶端啟動，創建主線程和渲染線程；

主線程：創建采集窗口，加載場景采集插件，并為當前窗口創建渲染硬件接口；

渲染線程：獲取后備緩存數據；

通過調用渲染硬件接口從渲染線程獲取后備緩存數據，在主線程中用后備緩存數據渲染采集窗口畫面；

在UE4下運行的窗口類型包括編輯器模式和運行時模式；

在編輯器模式下獲取引擎實例的視口數據，通過場景視口獲取視口組件，將視口組件的節點轉換為窗口類，處理編輯器模式下的渲染硬件接口；

在運行時模式下獲取引擎場景的視口數據，獲取正確的引擎窗口，獲取視口組件，將視口組件的節點轉換為窗口類，處理運行時模式下的渲染硬件接口。

2.如權利要求1所述的實時圖像的提取方法，其特征在于，UE4采集客戶端的主線程具體執行如下子步驟：

創建UE4采集窗口并初始化；

加載并初始化采集插件；

實時更新窗口內容；

通過調用渲染硬件接口從渲染線程獲取后備緩存數據，使用后備緩存數據渲染采集窗口畫面。

3.如權利要求2所述的實時圖像的提取方法，其特征在于，創建UE4采集窗口并初始化，具體包括如下子步驟：

創建設備、上下文、交換鏈和渲染目標；

使用上下文將渲染目標設置為向屏幕輸出；

創建視口，實時使用從渲染目標獲取的當前頁面渲染數據更新視口。

4.如權利要求2所述的實時圖像的提取方法，其特征在于，加載并初始化采集插件，具體包括如下子步驟：

獲取場景視口，通過場景視口獲取當前窗口的寬高以及所需接口；

創建UI應用層渲染器，并獲取視口資源數據；

通過UI應用層渲染器獲取頂層窗口的資源；

將獲取的頂層窗口的資源強制轉換為與渲染硬件接口相同類型的數據。

5.如權利要求1所述的實時圖像的提取方法，其特征在于，主線程在獲取到后備緩存數據后，用后備緩存數據渲染采集窗口畫面，具體為：在編輯器模式下，確定當前窗口為場景窗口時，獲取場景視窗上的目標紋理，通過渲染硬件接口將視窗數據轉化為RGBA類型的顏色空間；在運行時模式下，通過渲染硬件接口直接獲取到視口后備緩存中的像素數據，將像素數據轉化為RGBA類型的顏色空間。

6.如權利要求1所述的實時圖像的提取方法，其特征在于，在主線程中渲染畫面，具體為：創建頂點，根據創建的頂點使用基本圖元的拓撲類型構建多邊形，生成3D場景；根據3D場景和攝像機固定渲染管線。

7.如權利要求6所述的實時圖像的提取方法，其特征在于，根據創建的頂點使用基本圖元的拓撲類型構建多邊形，具體為：將創建的每個頂點作為一個單獨的點進行繪制，將所有的頂點按順序逐個連接成線段，再將所有的頂點按順序兩兩配對連接成線段，并將所有頂點按順序組成三角形，即前三個頂點組成第一個三角形，從第四個頂點開始每個頂點與位于其前面的兩個頂點組成一個三角形，以及按順序三三配對組成三角形，由此構成多邊形。

8.如權利要求6所述的實時圖像的提取方法，其特征在于，根據3D場景和攝像機固定渲染管線，具體為：使用3D場景及攝像機得到視圖空間，將視圖空間轉換為2D圖形并顯示在屏幕上。

9.如權利要求6或8所述的實時圖像的提取方法，其特征在于，固定渲染管線，具體包括：

本地空間：即建模空間，在本地組織三角形的組織方式；

世界空間：通過平移、旋轉、縮放將本地空間的物體轉換成世界空間的物體，實現場景的組織；

視圖空間：將攝像機移至世界空間的原點，旋轉攝像機使其正方向與世界空間的Z方向一致，當移動或旋轉攝像機時，世界空間的幾何圖隨著攝像機的變化做相同的變化，得到相機視圖矩陣；

背面揀選：通過背面揀選方式剔除無用的背面多邊形；

光照裁剪：在世界空間中提供光照，并將超過平截平臺的幾何圖部分裁剪；

投影：通過投影變換矩陣將3D場景轉換成2D圖像，然后轉到投影窗口上；

視口變換：將投影窗口變換為屏幕上一個矩陣區域的可靠變換；

光柵化處理：計算需要顯示的每個三角形中每個點的像素值，將經視口變換后的圖像顯示到屏幕上。