[發明專利]一種自迭代式的局部綠幕摳像方法

在審

• 申請號: 202011585423.6
• 申請日: 2020-12-28
• 公開（公告）號: CN112669337A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 李漢曦;陳浩;朱文宇;張寶昌
• 申請（專利權）人: 上海玄彩美科網絡科技有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/181;G06T7/194;G06T7/73;G06K9/46;G06K9/62
• 代理公司: 南昌逸辰知識產權代理事務所(普通合伙) 36145
• 代理人: 劉林艷

1.一種自迭代式的局部綠幕摳像方法，包括預處理階段和正式運行階段；預處理階段用迭代的方式得到盡量準確的綠幕區域(如圖1中所示)，以得到更好的相機姿態和精準的色鍵；正式運行階段是進行逼真的虛擬場景合成以及摳像；

(1)在整個過程中，相機和綠幕的位置都是固定的；

(2)在預處理階段，綠幕前沒有人、物等前景，而在正式運行階段，綠幕前會加入人、物等前景進行摳像。

其特征在于，具體步驟如下：

第一步，根據參考幀F_R上的關鍵點集對F_t進行點匹配，找出當前幀F_t對應的關鍵點集；

Step 1點匹配：當前幀F_t，是一張攝像機拍攝的無前景的綠幕圖像。參考幀F_R，是一張事先得到的標準綠幕圖像。該圖像中的綠幕區域的邊緣、端點及比對關鍵點皆為已知。

假設，當前在參考幀F_R上，有關鍵點集包含N個關鍵點。每一個關鍵點2D像素位置為圖像特征為且有上一步估計的單應矩陣為H_t-1(當t＝1時，H_t-1＝I也即單位矩陣)，所對應的在當前幀F_t上有搜索域：

其中，||·||為二范數(歐氏距離)函數，ε為搜索范圍的半徑。注意，對于在區域中，匹配算法確定該關鍵點為：

其中，是當前幀F_t上2D位置為的關鍵點的圖像特征。

在第一次點匹配的過程中，H_t-1為單位矩陣，要想在當前幀搜索到參考幀的關鍵點所對應的關鍵點，需要將搜索范圍ε定為無窮大。

第二步，根據這兩個點集的幾何位置得出單應矩陣H_t，計算得到估計的綠幕區域B和姿態估計；

Step 2計算單應矩陣：假設在點匹配后，在當前幀F_t上找到對應參考幀關鍵點集的關鍵點集也就得到了有若干關鍵點對的匹配圖，如圖2所示。

F_t的綠幕區域則可通過兩幀之間的坐標轉換矩陣H_t得到。H_t也叫單應矩陣，具體來說，假設F_R上關鍵點對應當前幀F_t上的點且它們的2D坐標分別為和則兩幀之間的單應矩陣滿足：

根據兩個關鍵點集的坐標位置，采用解多元方程組的方法計算出H_t，也可以通過使用RANSAC方法來提高對H_t估計的魯棒性。在估算的單應矩陣H_t的基礎上，算法把參考幀的綠幕的四個頂點坐標投影到當前幀上，得到綠幕在當前幀所占區域的估計B，如圖3所示。通過三維物體成像公式估算出相機與綠幕之間的位置關系，即相機姿態。

第三、四步，先對區域B進行色鍵抽取，再根據公式計算α值，得到綠幕區域掩膜A_t；

Step 3取色鍵：估計的綠幕區域B應為一四邊形(可能被圖像邊緣截斷)。可知四邊的解析方程式為：

由于存在關鍵點誤匹配的現象，估算的H_t不是很準確，導致得到的綠幕區域B和真實綠幕區域相差較大，需要下面的步驟來修正。

在區域B中取色鍵，進行摳像。先將B區域內像素的RGB值通過下式轉化為YUV值：

可以得到區域內所有像素點的UV值，然后對該區域內的像素點取色鍵。取色鍵可以用K-Means聚類方法。

Step 4α值估計：求取d值的基本思路均是利用一定先驗條件求解方程：

I_z＝α_zF+(1-α_z)B′

其中，α_z＝1表示像素I_z屬于前景F；α_z＝0表示像素I_z屬于背景_BB′；若α_z∈(0，1)，則表示像素I_z是前景和背景的混合。所以在得到色鍵后，要進行α值的估計，得到前景和背景。α值是通過下式得出：

其中，I＝{(u₁，v₁)，(u₂，v₂)，...(u_z，v_z)…(u_n，v_n)}是當前幀像素的U、V值集合，(u_i，v_i)是上一步得到的色鍵的UV值，m和n是超參數。由于α值范圍在[0，1]，所以要將上式的結果d輸入到Sigmoid函數，映射在[0，1]區間上，得到當前幀每一個像素的α值。將幀像素分為三類：前景F，背景B′以及混合像素集合M，也就是綠幕區域掩膜A_t。

第五步，對A_t求取邊緣處理和霍夫變換，確定該區域的邊界，得到新的綠幕四邊形區域B″和新的單應矩陣同時計算出更準確的相機姿態；

Step 5提取直線：在得到A_t之后，對A_t進行坎尼算子求取邊緣處理(如圖4所示)，進行霍夫變換(如圖5所示)：通過對直線參數空間的投票，估計出圖像空間中的主要直線的解析方程式{l′₁，l′₂，l′₃，…，l′_Q}。在該集合中，對應上文每一條已經估計的四條邊緣直線l_i，提出一根與之最接近的直線，于是算法得到4根霍夫算法估計的邊緣線(如圖6所示)，這四根邊緣直線同樣確定了一個四邊形，也就是新的綠幕四邊形區域B″。利用該四邊形B″確定的四個頂點位置，可以估計出新的單應矩陣H′_t，對H′_t和H_t求均值，算法得到更新后的單應矩陣(注意此處有專門的計算公式，不是簡單的代數均值)。已知更新后的通過三維物體成像公式估算出更準確的相機姿態。

第六步，重復上述步驟，不斷更新單應矩陣，動態調整熱點區域，直到點匹配的搜索范圍ε小于給定的預設值，或者迭代步數達到預設上限，即可得到精準的相機姿態和色鍵；

Step 6迭代：下一次迭代依舊是對當前幀F_t與參考幀F_R進行點匹配，將上一步估計的單應矩陣作為當前幀的H_t-1，且已知參考幀的比對關鍵點。在點匹配的搜索過程中，由于H_t-1變得準確，縮小搜索范圍ε即可得到對應特征點。計算單應矩陣得到的熱點區域會更接近真實綠幕區域的位置，相機姿態的估計也更精準提高了取色鍵的精度。隨后取色鍵和計算α值，優化綠幕區域掩膜A_t，經過再一次的霍夫變換更新H_t后，得到更精準的綠幕區域和姿態估計，也就達到了迭代優化相機姿態估計和綠幕估計區域的目的。

重復1-5步驟，不斷更新H_t，逐漸縮小點匹配搜索范圍，校正估計的相機姿態，動態調整熱點區域，提高取色鍵的精度，直到搜索范圍ε小于預設值，或者迭代步數達到預設上限，幾輪迭代結束后即可得到精準的相機姿態和色鍵。

第七步，基于預處理階段得到的相機姿態放置虛擬場景；

基于預處理階段得到的精準相機姿態，將當前畫面摳像后放置在虛擬3D空間中，達到虛實結合的效果

第八步，根據預處理階段得到的精準色鍵對每一幀來進行像素級摳像；

使用預處理階段得到的精準色鍵對每一幀進行摳像，得到高質量的摳像結果。。