[發(fā)明專利]用于傳遞視頻中的感興趣區(qū)域信息的方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911030731.X
• 申請(qǐng)日: 2019-10-28
• 公開(kāi)（公告）號(hào): CN111193928B
• 公開(kāi)（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 范志興
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): H04N19/167
• 分類號(hào): H04N19/167;H04N19/42;H04N19/46;H04N21/4728;H04N21/431;H04N21/234;H04N21/44;H04N21/488
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 孫之剛;閆小龍

本文描述了一種用于傳遞視頻中的感興趣區(qū)域信息的方法，包括：從所述視頻的第一視頻幀中確定感興趣區(qū)域信息；響應(yīng)于存在作為所述第一視頻幀的前一視頻幀的第二視頻幀，則確定所述第一視頻幀的感興趣區(qū)域信息與所述第二視頻幀的感興趣區(qū)域信息間的殘差作為感興趣區(qū)域殘差掩碼；對(duì)所述感興趣區(qū)域殘差掩碼進(jìn)行壓縮；對(duì)所述壓縮后的感興趣區(qū)域殘差掩碼與所述第一視頻幀的編碼視頻數(shù)據(jù)進(jìn)行補(bǔ)充增強(qiáng)信息封裝，以得到第一封裝視頻幀；以及傳遞所述第一封裝視頻幀。

技術(shù)領(lǐng)域

本公開(kāi)涉及視頻處理的技術(shù)領(lǐng)域，具體地涉及用于傳遞視頻中的感興趣區(qū)域信息的方法和設(shè)備，以及用于在視頻的渲染畫面上提供輔助信息的方法和設(shè)備。

背景技術(shù)

近些年來(lái)，視頻播放或渲染技術(shù)得到了極大發(fā)展，尤其是在互聯(lián)網(wǎng)視頻播放或渲染技術(shù)領(lǐng)域中更是如此。為了體現(xiàn)視頻的交互性和趣味性，出現(xiàn)了各種視頻編輯技術(shù)，例如彈幕疊加、圖標(biāo)疊加、動(dòng)畫疊加、字幕疊加等等。在實(shí)施這些技術(shù)時(shí)，希望彈幕、圖標(biāo)、動(dòng)畫、字幕等在顯示時(shí)能避開(kāi)用戶感興趣的區(qū)域，使得感興趣區(qū)域(ROI)(例如，人臉)仍然能夠被清晰地觀看，從而不會(huì)影響視頻渲染時(shí)的用戶觀看體驗(yàn)。

通常，使用一個(gè)比特表示視頻畫面中的一個(gè)像素是否屬于感興趣區(qū)域，以形成該視頻畫面的感興趣區(qū)域(ROI)信息。而且，ROI信息通常都是按照一張張畫面存儲(chǔ)的，這導(dǎo)致在傳遞ROI信息時(shí)(例如在將ROI信息從編碼端傳遞到解碼端時(shí))需要的帶寬顯著增加。例如，如果視頻畫面的分辨率為1920x1080，則每一幀畫面需要1920x1080/8字節(jié)的數(shù)據(jù)量表示ROI信息，這導(dǎo)致額外增加的帶寬，其大小為1920*1080*幀率。

發(fā)明內(nèi)容

簽于此，本公開(kāi)提供了用于傳遞視頻中的感興趣區(qū)域信息的方法和設(shè)備，以及用于在視頻的渲染畫面上提供輔助信息的方法和設(shè)備，期望克服上面提到的部分或全部缺陷以及其它可能的缺陷。

根據(jù)本公開(kāi)的第一方面，提供了一種用于傳遞視頻中的感興趣區(qū)域信息的方法，包括：從所述視頻的第一視頻幀中確定感興趣區(qū)域信息；響應(yīng)于存在作為所述第一視頻幀的前一視頻幀的第二視頻幀，則確定所述第一視頻幀的感興趣區(qū)域信息與所述第二視頻幀的感興趣區(qū)域信息間的殘差作為感興趣區(qū)域殘差掩碼；對(duì)所述感興趣區(qū)域殘差掩碼進(jìn)行壓縮；對(duì)所述壓縮后的感興趣區(qū)域殘差掩碼與所述第一視頻幀的編碼視頻數(shù)據(jù)進(jìn)行補(bǔ)充增強(qiáng)信息封裝，以得到第一封裝視頻幀；以及傳遞所述第一封裝視頻幀。

在一些實(shí)施例中，所述視頻的每個(gè)視頻幀中的每個(gè)像素具有灰度分量。

在一些實(shí)施例中，從所述視頻的第一視頻幀中確定感興趣區(qū)域信息，包括：基于所述第一視頻幀中的所有像素的灰度分量來(lái)確定感興趣區(qū)域；以及基于所述確定的感興趣區(qū)域來(lái)確定所述感興趣區(qū)域信息。

在一些實(shí)施例中，基于所述確定的感興趣區(qū)域來(lái)確定所述感興趣區(qū)域信息包括：以像素塊為單位來(lái)基于所述確定的感興趣區(qū)域確定所述感興趣區(qū)域信息。

在一些實(shí)施例中，所述方法還包括：響應(yīng)于不存在作為所述第一視頻幀的前一視頻幀的第二視頻幀，則確定所述第一視頻幀的感興趣區(qū)域信息為所述感興趣區(qū)域殘差掩碼。

在一些實(shí)施例中，確定所述第一視頻幀的感興趣區(qū)域信息與所述第二視頻幀的感興趣區(qū)域信息間的殘差包括：對(duì)所述第一視頻幀的感興趣區(qū)域信息與所述第二視頻幀的感興趣區(qū)域信息進(jìn)行異或操作來(lái)確定所述殘差。

在一些實(shí)施例中，對(duì)所述感興趣區(qū)域殘差掩碼進(jìn)行壓縮包括：采用Bzip2技術(shù)對(duì)所述感興趣區(qū)域殘差掩碼進(jìn)行壓縮。

在一些實(shí)施例中，所述第一視頻幀的編碼視頻數(shù)據(jù)包括對(duì)所述第一視頻幀進(jìn)行H.264或者H.265編碼而得到編碼視頻數(shù)據(jù)。

在一些實(shí)施例中，傳遞所述第一封裝視頻幀包括：傳遞所述第一封裝視頻幀到視頻客戶端進(jìn)行渲染。