[發明專利]一種基于云端處理的實時高清摳像方法

有效

• 申請號: 201710284130.6
• 申請日: 2017-04-26
• 公開（公告）號: CN107087123B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 孫清;陳平
• 申請（專利權）人: 杭州奧點科技股份有限公司
• 主分類號: H04N5/272
• 分類號: H04N5/272
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 李芙蓉;馮建基

本發明涉及一種基于云端處理的實時高清摳像方法，所述實時高清摳像方法包括：對基于(Y，U，V)顏色空間的視頻圖像/圖片進行預處理；將預處理后具有統一格式的視頻圖像/圖片作為實時輸入源輸入云導播臺；掃描輸入源的每幀視頻圖像/圖片的所有像素點的信息；選取色鍵對來自實時輸入源的前景圖像進行摳像計算；基于摳像計算結果對前景圖像和背景圖像進行融合計算并進行實時融合。本發明公開了一種快速高清摳像算法，利用算法實時性的優勢，融合到云導播臺中，實現了云端人物和虛擬背景的有效合成。

技術領域

本發明涉及云流媒體實時摳像技術領域，具體涉及一種基于云端處理的實時高清摳像方法。

背景技術

摳像技術的產生源自于早期的電視制作，虛擬演播室的搭建也是基于該需求。演播室的摳像主要涉及藍/綠幕的摳像。其前期源采集過程要求嚴格，且成本高昂(包括均勻的光照和性能優良的錄制設備)，并且在摳像環節上，主流仍然選擇的是價格較高的硬件導播臺，因其避免了編解碼的耗時轉換，從來能基本滿足摳像的性能需求。

藍/綠幕的摳像在現有的一些算法性能上也參差不齊，包括邊緣的輪廓的優化，溢色的處理和前景與背景的融合等。

目前市面上存在的摳像軟件，如photoshop，雖然經過人工的處理能調試出較優的摳像效果，但是其對于操作人員的摳像技術的專業要求非常高，并且整個過程耗時耗力，無法滿足使用者實時直播中快速高清的性能要求。

有鑒于此，我們開發了高清的摳像算法并且融合到我們自行開發研制的云端導播臺中，在確保效果優良的前提下，極大地滿足摳像的實時性要求。并且，將硬件的摳像轉移到云端進行處理，極大提升了摳像性能并已達到縮減成本的目的。

發明內容

本發明的目的在于提供一種基于云端處理的實時高清摳像方法，用以解決現有摳像技術耗時耗力無法滿足使用者實時直播中快速高清的性能要求的問題。

為實現上述目的，本發明公開了一種基于云端處理的實時高清摳像方法，所述實時高清摳像方法包括：對基于(Y，U，V)顏色空間的視頻圖像/圖片進行預處理；將預處理后具有統一格式的視頻圖像/圖片作為實時輸入源輸入云導播臺；掃描輸入源的每幀視頻圖像/圖片的所有像素點的信息；選取色鍵對來自實時輸入源的前景圖像進行摳像計算；基于摳像計算結果對前景圖像和背景圖像進行融合計算；所述融合計算公式為：

respixel＝fgpixel-back_contrib+bgalpha×bgpixel

其中，respixel為合成結果圖像的像素值，fgpixel前景圖像的像素值，bgpixel為背景圖像的像素值，back_contrib為背景圖像貢獻值，bgalpha為背景圖像像素透明度；和基于融合計算結果對前景圖像和背景圖像進行實時融合。

本發明公開的上述一種基于云端處理的實時高清摳像方法，所述前景圖像的摳像計算過程包括：將前景像素點由(U，V)顏色空間坐標系旋轉至(X，Z)顏色空間坐標系中進行操作；在(X，Z)顏色空間坐標系中對像素點區域進行分區處理；得到第一區域和第二區域，其中，第一區域內像素點的像素值與色鍵像素值差異大，第二區域內像素點的像素值與色鍵像素值相同或相近；對于第二區域中的像素點保持前景不變性，直接反轉至(U，V)顏色空間坐標系中輸出；對于第一區域中的像素點進行前景源像素抑制處理；得到第一區域中像素點經前景源像素抑制處理后的(X，Z)顏色空間坐標系坐標值(x′₀，z′₀)和前景圖像像素透明度fgalpha的值；將第一區域中像素點經前景源像素抑制處理后的(X，Z)顏色空間坐標系坐標(x′₀，z′₀)反轉至(U，V)顏色空間坐標系中；根據前景圖像像素透明度fgalpha計算得到背景圖像像素透明度bgalpha的值和第一區域中像素點經前景源像素抑制處理后的(Y，U，V)顏色空間坐標系坐標值(Y′，U′，V′)。