[發(fā)明專利]基于視覺(jué)關(guān)注的多媒體處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201110453831.0
• 申請(qǐng)日: 2011-12-29
• 公開(kāi)（公告）號(hào): CN102572217A
• 公開(kāi)（公告）日: 2012-07-11
• 發(fā)明（設(shè)計(jì)）人: 王榮澤
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): H04N5/14
• 分類號(hào): H04N5/14;H04N7/26
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體處理技術(shù)領(lǐng)域，尤其涉及一種基于視覺(jué)關(guān)注的多媒體處理方法及裝置。

背景技術(shù)

隨著用戶對(duì)音視頻體驗(yàn)感要求越來(lái)越高，音視頻處理的方式越來(lái)越依賴用戶的意圖。目前，對(duì)音視頻的處理方式具體為人工設(shè)定處理方案，并通過(guò)后臺(tái)程序?qū)⒁粢曨l文件按照相應(yīng)處理方案相應(yīng)處理，然后將處理后的音視頻文件顯示出來(lái)。通過(guò)該處理方式對(duì)音視頻文件進(jìn)行處理需要設(shè)定完善的處理方案才能符合用戶的意圖。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施例提供一種基于視覺(jué)關(guān)注的多媒體處理方法及裝置，實(shí)現(xiàn)了在不影響用戶使用感受的情況下，通過(guò)確認(rèn)用戶的視線焦點(diǎn)完成對(duì)多媒體顯示的控制。

為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：

一種基于視覺(jué)關(guān)注的多媒體處理方法，包括：

檢測(cè)顯示屏內(nèi)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置；

根據(jù)所述視線焦點(diǎn)位置，獲取與所述視線焦點(diǎn)位置對(duì)應(yīng)的視線關(guān)聯(lián)區(qū)域；

對(duì)所述視線關(guān)聯(lián)區(qū)域?qū)?yīng)的視頻圖像進(jìn)行視頻增強(qiáng)處理。

一種基于視覺(jué)關(guān)注的多媒體處理裝置，包括：

檢測(cè)單元，用于檢測(cè)顯示屏內(nèi)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置；

獲取單元，用于根據(jù)所述視線焦點(diǎn)位置，獲取與所述視線焦點(diǎn)位置對(duì)應(yīng)的視線關(guān)聯(lián)區(qū)域；

調(diào)整單元，用于對(duì)所述視線關(guān)聯(lián)區(qū)域?qū)?yīng)的視頻圖像進(jìn)行視頻增強(qiáng)處理。本發(fā)明實(shí)施例提供的基于視覺(jué)關(guān)注的多媒體處理方法及裝置，通過(guò)獲取觀看者的視覺(jué)焦點(diǎn)位置，并根據(jù)視覺(jué)焦點(diǎn)位置獲取觀看者的視線關(guān)聯(lián)區(qū)域來(lái)確定觀看者正在觀看的區(qū)域，然后直接對(duì)所述視線關(guān)聯(lián)區(qū)域進(jìn)行調(diào)整以滿足用戶的體驗(yàn)感，實(shí)現(xiàn)了在不影響用戶使用感受的情況下，通過(guò)確認(rèn)用戶的視線焦點(diǎn)完成對(duì)多媒體顯示的控制。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例1中的一種基于視覺(jué)關(guān)注的多媒體處理方法的流程圖；

圖2為本發(fā)明實(shí)施例2中的一種基于視覺(jué)關(guān)注的多媒體處理方法的流程圖；

圖3為本發(fā)明實(shí)施例3中的一種基于視覺(jué)關(guān)注的多媒體處理裝置的組成框圖；

圖4為本發(fā)明實(shí)施例3中的另一種基于視覺(jué)關(guān)注的多媒體處理裝置的組成框圖；

圖5為本發(fā)明實(shí)施例3中的另一種基于視覺(jué)關(guān)注的多媒體處理裝置的組成框圖；

圖6為本發(fā)明實(shí)施例3中的另一種基于視覺(jué)關(guān)注的多媒體處理裝置的組成框圖；

圖7時(shí)為本發(fā)明實(shí)施例3中的另一種基于視覺(jué)關(guān)注的多媒體處理裝置的組成框圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

實(shí)施例1

本發(fā)明實(shí)施例提供了一種基于視覺(jué)關(guān)注的多媒體處理方法，如圖1所示，該方法包括：

101、檢測(cè)顯示屏內(nèi)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置。

其中，檢測(cè)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置可以通過(guò)瞳孔-角膜反射向量法，實(shí)現(xiàn)方式如下：

用一紅外輔助光源照射人臉部，在眼睛角膜表面形成反射像，此反射像被稱為普爾欽(Purkinje)斑點(diǎn)。人眼在盯視屏幕不同位置，眼球會(huì)發(fā)生相應(yīng)轉(zhuǎn)動(dòng)，假定觀看者頭不動(dòng)的情況下，由于紅外光發(fā)射二極管的位置固定，而眼球是一個(gè)近似的球體，所以當(dāng)眼球移動(dòng)時(shí)，可以認(rèn)為普爾欽斑點(diǎn)的絕對(duì)位置是不變的，而虹膜和瞳孔的位置要發(fā)生相應(yīng)的變化，這樣普爾欽斑點(diǎn)和瞳孔與虹膜的相對(duì)位置關(guān)系也發(fā)生變化，這種相對(duì)位置關(guān)系的確定可以通過(guò)圖像處理來(lái)實(shí)現(xiàn)，然后由他們的相對(duì)位置關(guān)系可以得出視線的方向，并由此取得視線焦點(diǎn)位置。

基于上述檢測(cè)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置的實(shí)現(xiàn)方法，所述檢測(cè)顯示屏內(nèi)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置的實(shí)現(xiàn)方法具體包括使用上述瞳孔-角膜反射向量法對(duì)所述多個(gè)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置進(jìn)行檢測(cè)，并獲取所有處于顯示屏內(nèi)的視線焦點(diǎn)位置。

所述檢測(cè)顯示屏內(nèi)觀看者對(duì)應(yīng)的視線焦點(diǎn)位置也可以通過(guò)其它方式實(shí)現(xiàn)，本發(fā)明實(shí)施例對(duì)此不進(jìn)行限制，所述其它方式的具體實(shí)現(xiàn)方法為本領(lǐng)域技術(shù)人員公知的技術(shù)，本發(fā)明對(duì)此不再贅述。