[發明專利]一種自迭代式的局部綠幕摳像方法

在審

• 申請號: 202011585423.6
• 申請日: 2020-12-28
• 公開（公告）號: CN112669337A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 李漢曦;陳浩;朱文宇;張寶昌
• 申請（專利權）人: 上海玄彩美科網絡科技有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/181;G06T7/194;G06T7/73;G06K9/46;G06K9/62
• 代理公司: 南昌逸辰知識產權代理事務所(普通合伙) 36145
• 代理人: 劉林艷

本發明提供一種自迭代式的局部綠幕摳像方法，包括預處理階段和正式運行階段；預處理階段用迭代的方式得到盡量準確的綠幕區域，以得到更好的相機姿態和精準的色鍵；正式運行階段是進行逼真的虛擬場景合成以及摳像；(1)在整個過程中，相機和綠幕的位置都是固定的；(2)在預處理階段，綠幕前沒有人、物等前景，而在正式運行階段，綠幕前會加入人、物等前景進行摳像；與現有技術相比，本發明突破了傳統色鍵摳像的限制，不受拍攝環境的約束，成本低廉，能夠在自然環境下同時進行精確的相機姿態估計以及像素級摳像。該算法有自動、實用、快速、精度高的優點。

技術領域

本發明涉及綠幕摳像方法技術領域，尤其涉及一種自迭代式的局部綠幕摳像方法。

背景技術

在當今的影視工業中，經常需要使用色鍵摳像技術(Chroma-Key imagematting)，該技術需要表演者身處綠箱(純綠色背景的半封閉空間)中進行表演，算法拾取背景中的典型綠色設為色鍵(Chroma-Key)用以區分前景區域(表演者或裝置)和背景區域(綠色墻面)，在精確檢測出攝像機視野里所有屬于背景的像素區域后，算法可以將當前綠色背景替換成任何指定場景，以達到在可控成本下豐富視覺表達的目的；

近年來隨著虛擬現實及混合現實應用的推廣，色鍵摳像后的前景經常需要與3D的虛擬場景進行融合，在這種情況下，系統需要對相機姿態進行估計，傳統的相機姿態估計是通過機械設備和傳感器來實現的，相機姿態估計是生成3D場景下的混合現實畫面提供先決條件，相機姿態估計越準確，合成的混合現實代入感也越強；

傳統色鍵摳像的缺點是相機姿態估計和摳像要分開完成，相機姿態估計依賴機械設備，成本高昂，對摳像的拍攝環境要求較高；綠色背板要覆蓋相機的整個視野，否則合成前的自然圖景出現在合成后的虛擬場景周圍。

發明內容

為解決上述技術問題，本發明采用了自迭代式的局部綠幕區域摳像方法，可以依靠算法同時完成相機的姿態估計和摳像兩項工作，在自然環境下完成綠幕摳像且不影響后續的虛擬場景合成，在摳像結束后可以得到精準的摳像結果以及逼真的虛擬場景合成，該算法不受拍攝環境的限制，不依賴機械設備，成本低廉，適合低成本直播間，具有自動、實用、快速的優點，提供一種自迭代式的局部綠幕摳像方法，以解決上述背景技術中描述問題。

本發明一種自迭代式的局部綠幕摳像方法，包括預處理階段和正式運行階段；預處理階段用迭代的方式得到盡量準確的綠幕區域，以得到更好的相機姿態和精準的色鍵；正式運行階段是進行逼真的虛擬場景合成以及摳像；

(1)在整個過程中，相機和綠幕的位置都是固定的；

(2)在預處理階段，綠幕前沒有人、物等前景，而在正式運行階段，綠幕前會加入人、物等前景進行摳像。

具體步驟如下：

第一步，根據參考幀F_R上的關鍵點集對F_t進行點匹配，找出當前幀F_t對應的關鍵點集。

第二步，根據這兩個點集的幾何位置得出單應矩陣H_t，計算得到估計的綠幕區域B和姿態估計。

第三、四步，先對區域B進行色鍵抽取，再根據公式計算α值，得到綠幕區域掩膜Α_t。

第五步，對Α_t求取邊緣處理和霍夫變換，確定該區域的邊界，得到新的綠幕四邊形區域B”和新的單應矩陣同時計算出更準確的相機姿態。

第六步，重復上述步驟，不斷更新單應矩陣，動態調整熱點區域，直到點匹配的搜索范圍ε小于給定的預設值，或者迭代步數達到預設上限，即可得到精準的相機姿態和色鍵。

第七步，基于預處理階段得到的相機姿態放置虛擬場景。

第八步，根據預處理階段得到的精準色鍵對每一幀來進行像素級摳像。