[發明專利]基于虛擬世界的視頻數據實時處理方法及裝置、計算設備

有效

• 申請號: 201710948056.3
• 申請日: 2017-10-12
• 公開（公告）號: CN107680105B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 眭一帆
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/55;G06T15/04
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種基于虛擬世界的視頻數據實時處理方法，其包括：

實時獲取圖像采集設備所拍攝和/或所錄制的視頻中包含特定對象的當前幀圖像；或者，實時獲取當前所播放的視頻中包含特定對象的當前幀圖像；

對當前幀圖像進行場景分割處理，得到當前幀圖像針對于所述特定對象的前景圖像；

繪制三維場景；

從所述當前幀圖像中提取出所述特定對象的關鍵信息，根據所述關鍵信息得到所述前景圖像在所述三維場景中的位置信息；所述關鍵信息為關鍵點信息，所述關鍵點信息包括特定對象邊緣的關鍵點信息和/或包括特定對象的特定區域的關鍵點信息；所述三維場景中的位置信息包括三維場景中的左右、上下和/或深度位置信息；

根據所述位置信息，將所述前景圖像與所述三維場景進行融合處理，得到當前幀處理后的圖像；

將當前幀處理后的圖像覆蓋原當前幀圖像得到處理后的視頻數據；

顯示所述處理后的視頻數據；

其中，所述從所述當前幀圖像中提取出所述特定對象的關鍵信息，根據所述關鍵信息得到所述前景圖像在所述三維場景中的位置信息進一步包括：

根據所述特定對象的關鍵點信息，計算具有對稱關系的至少兩個關鍵點之間的距離；

根據具有對稱關系的至少兩個關鍵點之間的距離，得到所述前景圖像在所述三維場景中的深度位置信息。

2.根據權利要求1所述的方法，其中，所述從所述當前幀圖像中提取出所述特定對象的關鍵信息，根據所述關鍵信息得到所述前景圖像在所述三維場景中的位置信息進一步包括：

根據所述關鍵點信息，獲取所述特定對象在當前幀圖像中的位置信息；

根據所述特定對象在當前幀圖像中的位置信息，得到所述前景圖像在所述三維場景中的左右位置信息。

3.根據權利要求1-2中任一項所述的方法，其中，所述方法還包括：

獲取所述三維場景的地形信息；

根據所述三維場景的地形信息、所述前景圖像在所述三維場景中的左右位置信息和/或深度位置信息，得到所述前景圖像在所述三維場景中的上下位置信息。

4.根據權利要求1-2中任一項所述的方法，其中，所述根據所述位置信息，將所述前景圖像與所述三維場景進行融合處理，得到當前幀處理后的圖像進一步包括：

根據所述前景圖像在所述三維場景中的深度位置信息、左右位置信息和/或上下位置信息，將所述前景圖像與所述三維場景進行融合處理，得到當前幀處理后的圖像。

5.根據權利要求1-2中任一項所述的方法，其中，在所述得到當前幀處理后的圖像之前，所述方法還包括：

在所述前景圖像的特定對象的特定區域繪制效果貼圖。

6.根據權利要求1-2中任一項所述的方法，其中，所述三維場景包含實時變化的天氣信息。

7.根據權利要求1-2中任一項所述的方法，其中，所述三維場景包含可變化的光照信息。

8.根據權利要求1-2中任一項所述的方法，其中，所述顯示處理后的視頻數據進一步包括：將處理后的視頻數據實時顯示；

所述方法還包括：將處理后的視頻數據上傳至云服務器。

9.根據權利要求8中所述的方法，其中，所述將處理后的視頻數據上傳至云服務器進一步包括：

將處理后的視頻數據上傳至云視頻平臺服務器，以供云視頻平臺服務器在云視頻平臺進行展示視頻數據。

10.根據權利要求8中所述的方法，其中，所述將處理后的視頻數據上傳至云服務器進一步包括：

將處理后的視頻數據上傳至云直播服務器，以供云直播服務器將視頻數據實時推送給觀看用戶客戶端。

11.根據權利要求8中所述的方法，其中，所述將處理后的視頻數據上傳至云服務器進一步包括：

將處理后的視頻數據上傳至云公眾號服務器，以供云公眾號服務器將視頻數據推送給公眾號關注客戶端。