[發(fā)明專利]直播場(chǎng)景中獲取圖像前景區(qū)域的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110853914.2
• 申請(qǐng)日: 2021-07-28
• 公開(kāi)（公告）號(hào): CN113313730B
• 公開(kāi)（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 夏洋;黎雄兵;郝付壯;劉聲華;宋道明
• 申請(qǐng)（專利權(quán)）人: 北京微吼時(shí)代科技有限公司
• 主分類號(hào): G06T7/194
• 分類號(hào): G06T7/194;G06T7/11
• 代理公司: 北京乾成律信知識(shí)產(chǎn)權(quán)代理有限公司 11927
• 代理人: 姚志遠(yuǎn);李昕巍

本申請(qǐng)涉及一種直播場(chǎng)景中獲取圖像前景區(qū)域的方法和裝置，該方法包括：對(duì)原始圖像幀實(shí)施下采樣處理，將原始圖像幀縮放至縮略圖；根據(jù)預(yù)設(shè)的前景分割區(qū)域參數(shù)對(duì)所述縮略圖進(jìn)行前景分割，形成第一前景分割掩模；對(duì)所述第一前景分割掩模進(jìn)行放大處理，形成原始圖像幀的掩模；以及將所述原始圖像幀與所述原始圖像幀的掩模進(jìn)行點(diǎn)乘運(yùn)算，獲取圖像前景區(qū)域。根據(jù)本發(fā)明的方法和裝置，通過(guò)下采樣和預(yù)設(shè)分割區(qū)域的方式，能夠快速實(shí)現(xiàn)對(duì)視頻圖像幀的快速分割，滿足直播場(chǎng)景實(shí)時(shí)要求。

技術(shù)領(lǐng)域

本申請(qǐng)涉及在線直播領(lǐng)域，尤其涉及一種直播場(chǎng)景中獲取圖像前景區(qū)域的方法和裝置。

背景技術(shù)

在線課堂或視頻直播場(chǎng)景中，會(huì)遇到用戶基于個(gè)人隱私考慮，要對(duì)直播間背景進(jìn)行遮擋的需求，或者因?yàn)闊o(wú)綠幕條件，但想更換直播間背景的需求。這在技術(shù)上要求對(duì)前景區(qū)域進(jìn)行提取摳圖，當(dāng)前效果較好的主流技術(shù)手段基于深度學(xué)習(xí)類算法。

然而，深度學(xué)習(xí)類模型的訓(xùn)練需要大量高質(zhì)量標(biāo)注數(shù)據(jù)，計(jì)算量巨大，對(duì)硬件計(jì)算性能，尤其是GPU（Graphics Processing Unit，圖形處理器）配置提出極高要求，因此大多在服務(wù)器端進(jìn)行模型部署，且服務(wù)器端的模型部署不利于保護(hù)用于數(shù)據(jù)隱私。以阿里人像摳圖AI（Artificial Intelligence，人工智能）模型產(chǎn)品部署要求為例，部署所需GPU配置要求最低均在NVIDIA GTX 1060以上，直播場(chǎng)景下的普通個(gè)人用戶PC（Personal Computer，個(gè)人電腦）通常無(wú)法達(dá)到這樣高的硬件要求。

發(fā)明內(nèi)容

對(duì)于應(yīng)用于直播場(chǎng)景中的個(gè)人用戶而言，摳圖效果可以不需要完全完美精確，但計(jì)算量需要降低至普通個(gè)人PC可接受，考慮到這一應(yīng)用需求，本申請(qǐng)?zhí)岢鲆环N應(yīng)用于實(shí)時(shí)直播場(chǎng)景，計(jì)算量低至可部署于個(gè)人PC端的圖像前景區(qū)域獲取技術(shù)。

本申請(qǐng)?zhí)峁┝艘环N直播場(chǎng)景中獲取圖像前景區(qū)域的技術(shù)方案，在個(gè)人PC級(jí)用戶CPU環(huán)境下本地部署的前提下，能夠解決一般圖像分割算法在高分辨率下單幀視頻處理耗時(shí)過(guò)長(zhǎng)，無(wú)法滿足直播場(chǎng)景實(shí)時(shí)要求的問(wèn)題。

根據(jù)本發(fā)明的第一個(gè)方面，提供一種直播場(chǎng)景中獲取圖像前景區(qū)域的方法，其包括：

對(duì)原始圖像幀實(shí)施下采樣處理，將原始圖像幀縮放至縮略圖；

根據(jù)預(yù)設(shè)的前景分割區(qū)域參數(shù)對(duì)所述縮略圖進(jìn)行前景分割，形成第一前景分割掩模；

對(duì)所述第一前景分割掩模進(jìn)行放大處理，形成原始圖像幀的掩模；以及

將所述原始圖像幀與所述原始圖像幀的掩模進(jìn)行點(diǎn)乘運(yùn)算，獲取圖像前景區(qū)域。

根據(jù)本發(fā)明的第二個(gè)方面，提供一種直播場(chǎng)景中獲取圖像前景區(qū)域的裝置，其包括：

縮放單元，用于對(duì)原始圖像幀實(shí)施下采樣處理，將原始圖像幀縮放至縮略圖；

前景分割單元，用于根據(jù)預(yù)設(shè)的前景分割區(qū)域參數(shù)對(duì)所述縮略圖進(jìn)行前景分割，形成第一前景分割掩模；

放大單元，用于對(duì)所述第一前景分割掩模進(jìn)行放大處理，形成原始圖像幀的掩模；以及

圖像前景區(qū)域獲取單元，用于將所述原始圖像幀與所述原始圖像幀的掩模進(jìn)行點(diǎn)乘運(yùn)算，獲取圖像前景區(qū)域。

根據(jù)本發(fā)明的第三個(gè)方面，提供一種電子設(shè)備，包括：

處理器；以及

存儲(chǔ)器，存儲(chǔ)有計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行第一方面所述的方法。

根據(jù)本發(fā)明的第四個(gè)方面，提供一種非瞬時(shí)性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被多個(gè)處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行第一方面所述的方法。