[發(fā)明專利]基于視覺(jué)感知的視頻幀率檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111088246.5
• 申請(qǐng)日: 2021-09-16
• 公開(kāi)（公告）號(hào): CN115834952A
• 公開(kāi)（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 萬(wàn)明陽(yáng);顧澤豪;關(guān)夢(mèng)龍;馬國(guó)俊;邢斌斌
• 申請(qǐng)（專利權(quán)）人: 北京字跳網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): H04N21/44
• 分類號(hào): H04N21/44;H04N21/442;H04N21/8547;H04N9/70
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 陳莉

本公開(kāi)提供了一種基于視覺(jué)感知的視頻幀率檢測(cè)方法及裝置，所述方法包括：提取視頻每一幀播放的時(shí)間戳，根據(jù)時(shí)間戳確定視頻的相鄰幀；將視頻每一幀的RGB三通道轉(zhuǎn)換為灰度單通道，并計(jì)算灰度單通道的灰度像素點(diǎn)值；根據(jù)灰度像素點(diǎn)值不同的數(shù)量占比計(jì)算視頻的相鄰幀變化率；根據(jù)灰度像素點(diǎn)值的變化差之和占比計(jì)算視頻的相鄰幀內(nèi)容變化率；檢測(cè)視頻的相鄰幀變化率與第一卡頓閾值的關(guān)系；檢測(cè)視頻的相鄰幀內(nèi)容變化率與第二卡頓閾值的關(guān)系；在相鄰幀變化率大于等于第一卡頓閾值且相鄰幀內(nèi)容變化率大于等于第二卡頓閾值時(shí)，判定相鄰視頻幀不卡頓。通過(guò)計(jì)算視頻相鄰幀之間的視覺(jué)差異判斷視頻幀是否為卡頓幀，能夠準(zhǔn)確監(jiān)測(cè)到視頻卡頓。

技術(shù)領(lǐng)域

本公開(kāi)涉及視頻檢測(cè)領(lǐng)域，尤其涉及一種基于視覺(jué)感知的視頻幀率檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)在視頻媒體已經(jīng)成為大家生活或娛樂(lè)的一種方式了，我們?cè)谟^看視頻時(shí)，經(jīng)常會(huì)遇到視頻卡頓，頻繁出現(xiàn)緩沖標(biāo)志或播放畫(huà)面一卡一卡的情況，這種情況特別影響觀看的體驗(yàn)。我們大多數(shù)人可能都會(huì)認(rèn)為視頻出現(xiàn)卡頓只是因?yàn)榫W(wǎng)速太差的原因，其實(shí)不全然。造成視頻卡頓的常見(jiàn)的原因：可能是設(shè)備的軟硬件配置過(guò)低或播放軟件版本過(guò)低，在視頻播放的過(guò)程中，會(huì)對(duì)視頻進(jìn)行編解碼，高清視頻往往會(huì)給硬件帶來(lái)解碼壓力，由于解碼造成的卡頓尤為明顯，編解碼的速度就會(huì)降低，就可能造成視頻播放卡頓的情況。

還有一種情況是相鄰視頻幀變化造成的卡頓，視頻幀率是視頻每秒顯示幀數(shù)，直接決定了視頻播放的流暢度，視頻出幀慢且不均勻時(shí)人眼會(huì)感知到卡頓，視頻高于一定閾值(一般是24fps)且出幀均勻后一般感知不到卡頓，24fps之上幀率越高越流暢。然而當(dāng)前視頻編輯軟件對(duì)視頻添加濾鏡、水印等過(guò)程中會(huì)指定幀率轉(zhuǎn)碼和使用復(fù)制幀方式，導(dǎo)致視頻幀率較高，雖然幀率高了，但人眼還是會(huì)感覺(jué)到卡頓，而現(xiàn)有的卡頓檢測(cè)技術(shù)無(wú)法監(jiān)測(cè)到這種卡頓的情況，無(wú)法準(zhǔn)確衡量視頻是否卡頓。

發(fā)明內(nèi)容

為了至少解決上述技術(shù)問(wèn)題，提高檢測(cè)視頻卡頓的準(zhǔn)確率和效率，本發(fā)明實(shí)施方式的目的在于提供一種基于視覺(jué)感知的視頻幀率檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)本發(fā)明第一方面，本發(fā)明的實(shí)施例提供了一種基于視覺(jué)感知的視頻幀率檢測(cè)方法，包括：

提取視頻每一幀播放的時(shí)間戳，根據(jù)所述時(shí)間戳確定視頻的相鄰幀；

將所述視頻每一幀的RGB三通道轉(zhuǎn)換為灰度單通道，并計(jì)算所述灰度單通道的灰度像素點(diǎn)值；

根據(jù)所述灰度像素點(diǎn)值不同的數(shù)量占比計(jì)算所述視頻的相鄰幀變化率；

根據(jù)所述灰度像素點(diǎn)值的變化差之和占比計(jì)算所述視頻的相鄰幀內(nèi)容變化率；

檢測(cè)所述視頻的相鄰幀變化率與第一卡頓閾值的關(guān)系；

檢測(cè)所述視頻的相鄰幀內(nèi)容變化率與第二卡頓閾值的關(guān)系；以及

在所述相鄰幀變化率大于等于所述第一卡頓閾值，同時(shí)所述相鄰幀內(nèi)容變化率大于等于第二卡頓閾值時(shí)，判定相鄰視頻幀不卡頓。

進(jìn)一步的，所述視頻每一幀播放的時(shí)間戳為視頻幀解碼后每一幀顯示的時(shí)間點(diǎn)，用戶計(jì)算視頻幀的播放時(shí)間，根據(jù)每一幀的時(shí)間點(diǎn)和播放時(shí)間確定所述視頻的相鄰幀。

進(jìn)一步的，所述將所述視頻每一幀的RGB三通道轉(zhuǎn)換為灰度單通道，并計(jì)算所述灰度單通道的灰度像素點(diǎn)值，轉(zhuǎn)換方式公式為：

GRAY＝R*0.299+G*0.587+B*0.114；

其中，GRAY為灰度單通道的灰度像素點(diǎn)值，R為紅色通道分量，G為綠色通道分量，B為藍(lán)色通道分量。

進(jìn)一步的，所述相鄰幀變化率為視頻相鄰幀對(duì)應(yīng)位灰度像素點(diǎn)值不相等的個(gè)數(shù)占總像素點(diǎn)個(gè)數(shù)的比例，具體計(jì)算公式如下：