[發(fā)明專利]一種用于虛擬直播間無(wú)綠幕摳圖實(shí)現(xiàn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211642511.4
• 申請(qǐng)日: 2022-12-20
• 公開(kāi)（公告）號(hào): CN115830391A
• 公開(kāi)（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 張小朝;彭培超;廖志鵬
• 申請(qǐng)（專利權(quán)）人: 新國(guó)脈文旅科技有限公司
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/30;G06V10/50;G06V10/84;H04N21/2187;G06T7/277;G06T3/00;G06V10/74
• 代理公司: 深圳市徽正知識(shí)產(chǎn)權(quán)代理有限公司 44405
• 代理人: 曾瓊芳

本發(fā)明公開(kāi)了一種用于虛擬直播間無(wú)綠幕摳圖實(shí)現(xiàn)方法，該方法包括采集用于訓(xùn)練的虛擬直播間圖像信息，使用BackgroundMatting算法模型處理高分辨率輸入虛擬直播間圖像信息中的所有直播間人物與物體圖像種類得到用于訓(xùn)練的直播間人物與物體特征圖像集；基于直播間人物與物體圖像種類識(shí)別領(lǐng)域使用BackgroundMatting算法模型進(jìn)行原始高分辨率圖像上特定圖像塊處理；通過(guò)基于云端的人機(jī)交互端口調(diào)整與優(yōu)化算法參數(shù)及直播間人物與物體圖像種類異常摳圖人物與物體非常規(guī)像素點(diǎn)；將直播間人物與物體圖像種類的識(shí)別結(jié)果送入馬爾可夫隨機(jī)場(chǎng)模型，對(duì)識(shí)別到的直播間人物與物體圖像種類進(jìn)行去噪；本發(fā)明用于準(zhǔn)確高效地識(shí)別出直播間人物與物體圖像種類信息。

技術(shù)領(lǐng)域

本發(fā)明涉及直播間摳圖領(lǐng)域，尤其涉及一種用于虛擬直播間無(wú)綠幕摳圖實(shí)現(xiàn)方法。

背景技術(shù)

在虛擬現(xiàn)實(shí)混合直播領(lǐng)域，例如虛擬現(xiàn)實(shí)混合演唱會(huì)，虛擬現(xiàn)實(shí)混合直播電商。都需要對(duì)直播過(guò)程中拍攝的圖像進(jìn)行摳圖，即從圖像中提取目標(biāo)，并對(duì)目標(biāo)進(jìn)行虛擬化處理，實(shí)現(xiàn)預(yù)設(shè)效果。

目前，摳圖方法主要包括：Luma-Key摳圖和chroma key摳圖。其中，Luma Key摳圖是基于圖像亮度實(shí)現(xiàn)摳圖，具體的，將攝像機(jī)拍攝的彩色圖像轉(zhuǎn)換為黑白圖像，基于黑白圖像，確定待提取的目標(biāo)像素點(diǎn)，并對(duì)目標(biāo)像素點(diǎn)進(jìn)行提取。chroma key摳圖是基于綠幕實(shí)現(xiàn)摳圖。

由于基于綠幕進(jìn)行摳圖，需要提供綠幕，即需要提供額外的硬件設(shè)備，成本高。基于亮度實(shí)現(xiàn)的摳圖，摳圖結(jié)果的準(zhǔn)確性較低。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)存在的缺點(diǎn)與不足，本發(fā)明提供一種用于虛擬直播間無(wú)綠幕摳圖實(shí)現(xiàn)方法。

本發(fā)明所采用的技術(shù)方案是，本發(fā)明提供的一種用于虛擬直播間無(wú)綠幕摳圖實(shí)現(xiàn)方法，包括以下步驟：

步驟S1，采集用于訓(xùn)練的虛擬直播間圖像信息，使用Background Matting算法模型處理高分辨率輸入所述虛擬直播間圖像信息中的所有直播間人物與物體圖像種類以得到用于訓(xùn)練的直播間人物與物體特征圖像集；

步驟S2，利用所述直播間人物與物體特征圖像集對(duì)基于直播間人物與物體圖像種類識(shí)別領(lǐng)域使用Background Matting算法模型進(jìn)行原始高分辨率圖像上特定圖像塊處理；

步驟S3，通過(guò)基于云端的人機(jī)交互端口調(diào)整與優(yōu)化算法參數(shù)及直播間人物與物體圖像種類異常摳圖人物與物體非常規(guī)像素點(diǎn)；

步驟S4，獲取直播間人物與物體監(jiān)控圖像及視頻數(shù)據(jù)，將直播間人物與物體監(jiān)控采集到的每一幀直播間人物與物體監(jiān)控圖像送入所述直播間人物與物體圖像種類識(shí)別模型，得到直播間人物與物體圖像種類識(shí)別結(jié)果；

步驟S5，將所述直播間人物與物體圖像種類識(shí)別結(jié)果送入馬爾可夫隨機(jī)場(chǎng)模型，對(duì)識(shí)別到的直播間人物與物體圖像種類進(jìn)行去噪；

步驟S6，識(shí)別并判斷去噪的直播間人物與物體圖像種類是否位于所述直播間人物與物體圖像種類異常摳圖人物與物體非常規(guī)像素點(diǎn)并判斷所述直播間人物與物體圖像種類是否有重復(fù)摳圖。

優(yōu)選地，對(duì)基于直播間人物與物體圖像種類識(shí)別領(lǐng)域使用Background Matting算法模型進(jìn)行原始高分辨率圖像上特定圖像塊處理后，同時(shí)對(duì)Background Matting算法模型算法的參數(shù)進(jìn)行布局優(yōu)化。

優(yōu)選地，判斷直播間人物與物體圖像種類是否處于直播間人物與物體圖像種類異常摳圖人物與物體非常規(guī)像素點(diǎn)包含以下步驟：

步驟D1，獲取當(dāng)前直播間人物與物體監(jiān)控圖像幀中某一個(gè)直播間人物與物體圖像種類異常摳圖人物與物體非常規(guī)像素點(diǎn)的時(shí)間和頻率及異常摳圖人物與物體非常規(guī)像素點(diǎn)空間坐標(biāo)；