[發(fā)明專利]球面圖像處理方法、裝置及服務(wù)器

有效

• 申請(qǐng)?zhí)枺?/td>: 201811125870.6
• 申請(qǐng)日: 2018-09-26
• 公開(kāi)（公告）號(hào): CN110956583B
• 公開(kāi)（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 宋翼;邸佩云
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T19/00
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 王洪

本申請(qǐng)?zhí)峁┮环N球面圖像處理方法、裝置及服務(wù)器。本申請(qǐng)一種球面圖像處理方法，包括：獲取球面圖像，并確定球面圖像的球心；確定用戶觀看球面圖像時(shí)的視點(diǎn)，視點(diǎn)位于球面圖像所包圍的球體空間內(nèi)除球心外的任意一點(diǎn)；根據(jù)球心和視點(diǎn)確定球面圖像上的像素?cái)U(kuò)張區(qū)域和像素收縮區(qū)域；對(duì)球面圖像進(jìn)行圖像處理，圖像處理包括對(duì)像素?cái)U(kuò)張區(qū)域內(nèi)的圖像進(jìn)行像素?cái)U(kuò)張?zhí)幚恚瑢?duì)像素收縮區(qū)域內(nèi)的圖像進(jìn)行像素收縮處理。本申請(qǐng)實(shí)現(xiàn)依視點(diǎn)的實(shí)際視野進(jìn)行局部的放大和局部的縮小，使得用戶獲得類似于真實(shí)世界中實(shí)際觀看到的物體發(fā)生近大遠(yuǎn)小縮放變化的觀影體驗(yàn)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理技術(shù)，尤其涉及一種球面圖像處理方法、裝置及服務(wù)器。

背景技術(shù)

在虛擬現(xiàn)實(shí)(Virtual Reality，簡(jiǎn)稱：VR)全景視頻應(yīng)用中，用戶能夠以360度任意視角觀看動(dòng)態(tài)視頻，享受一種全新的觀看體驗(yàn)。現(xiàn)有的全景視頻觀看方式大都采用3自由度(3Degree of Freedom，簡(jiǎn)稱：3DOF)的觀影體驗(yàn)，在這種應(yīng)用中，視點(diǎn)(包括VR眼鏡、手機(jī)、平板、電視、電腦等)固定在全景視頻組成的球體的中心點(diǎn)位置，可進(jìn)行任意水平偏轉(zhuǎn)、豎直俯仰、繞軸滾轉(zhuǎn)的偏轉(zhuǎn)對(duì)全景視頻進(jìn)行觀看。但隨著人們對(duì)VR強(qiáng)烈沉浸感的需求逐漸加深，期望可以佩戴視點(diǎn)在空間范圍內(nèi)進(jìn)行前后左右自由移動(dòng)，同時(shí)在這種移動(dòng)的情況下觀看到的視頻仍保持與現(xiàn)實(shí)世界相同或相近的體驗(yàn)。由此帶來(lái)的圖像處理中如何對(duì)全景視頻中物體的縮放成為關(guān)鍵技術(shù)之一。

現(xiàn)有技術(shù)對(duì)全景視頻的圖像處理實(shí)現(xiàn)了視點(diǎn)在前后移動(dòng)時(shí)其視角范圍內(nèi)的畫(huà)面內(nèi)容隨之增大或減小，但是如果終端再進(jìn)行旋轉(zhuǎn)時(shí)，會(huì)出現(xiàn)對(duì)應(yīng)視角內(nèi)容運(yùn)動(dòng)變得過(guò)快(放大后旋轉(zhuǎn))或過(guò)慢(縮小后旋轉(zhuǎn))的情況，不符合人在真實(shí)世界自由走動(dòng)觀看時(shí)的情況，無(wú)法做到沉浸式的視覺(jué)效果，影響體驗(yàn)。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N球面圖像處理方法、裝置及服務(wù)器，以實(shí)現(xiàn)依用戶觀看球面圖像時(shí)的視點(diǎn)的實(shí)際視野進(jìn)行局部的放大和局部的縮小，使得用戶獲得類似于真實(shí)世界中實(shí)際觀看到的物體發(fā)生近大遠(yuǎn)小縮放變化的觀影體驗(yàn)。

第一方面，本申請(qǐng)?zhí)峁┮环N球面圖像處理方法，對(duì)全景視頻中的每一幀球面圖像進(jìn)行處理，服務(wù)器先獲取球面圖像，該球面圖像橫向跨度為360度，縱向跨度為180度，其包圍的空間呈球體狀。本申請(qǐng)中由于視點(diǎn)的位移使得其可以看到的視野范圍內(nèi)的畫(huà)面相較于位于球心位置時(shí)發(fā)生了放大或縮小的變化，為了適應(yīng)這種變化，服務(wù)器需要對(duì)球面圖像進(jìn)行區(qū)域劃分，劃分的目的是需要將球面圖像中的某些區(qū)域進(jìn)行放大(像素?cái)U(kuò)張區(qū)域)，某些區(qū)域進(jìn)行縮小(像素收縮區(qū)域)，且放大和縮小的比例并非完全一致，視實(shí)際情況而定，因此劃分后的球面圖像可以針對(duì)不同的區(qū)域進(jìn)行不同的圖像處理。本申請(qǐng)中的圖像處理包括對(duì)像素?cái)U(kuò)張區(qū)域內(nèi)的圖像進(jìn)行像素?cái)U(kuò)張?zhí)幚恚瑢?duì)像素收縮區(qū)域內(nèi)的圖像進(jìn)行像素收縮處理，像素?cái)U(kuò)張?zhí)幚戆▽⑾袼財(cái)U(kuò)張區(qū)域內(nèi)的圖像像素的數(shù)量增多，像素收縮處理包括將像素收縮區(qū)域內(nèi)的圖像像素的數(shù)量減少。可見(jiàn)經(jīng)過(guò)上述對(duì)球面圖像進(jìn)行的處理后，本申請(qǐng)不再是簡(jiǎn)單的只對(duì)球面圖像進(jìn)行放大或縮小，而是依視點(diǎn)的實(shí)際視野進(jìn)行局部的放大和局部的縮小，使得用戶觀看VR全景視頻的過(guò)程中視點(diǎn)自由移動(dòng)時(shí)，能夠獲得類似于真實(shí)世界中實(shí)際觀看到的物體發(fā)生近大遠(yuǎn)小縮放變化的觀影體驗(yàn)，即使用戶旋轉(zhuǎn)也可以觀看到物體逐漸由大變小或由小變大的變化，而不會(huì)看到類似于望遠(yuǎn)鏡體驗(yàn)中所有的物體都被縮放的情況，符合真實(shí)世界中物體的縮放變化，從而產(chǎn)生更為強(qiáng)烈的沉浸感。

在一種可能的實(shí)現(xiàn)方式中，服務(wù)器可以先確定球面圖像上與球心和視點(diǎn)結(jié)合后滿足設(shè)定的幾何規(guī)則的像素，然后根據(jù)像素確定像素?cái)U(kuò)張區(qū)域和像素收縮區(qū)域。

基于上述方法，服務(wù)器可以根據(jù)視點(diǎn)相對(duì)于球心的偏移，確定球面圖像上與視點(diǎn)的距離等于r的第一像素，然后以連接第一像素的圓為界限將球面圖像劃分為兩個(gè)區(qū)域，其中，所包括的像素與視點(diǎn)的距離小于r的區(qū)域作為像素?cái)U(kuò)張區(qū)域，所包括的像素與視點(diǎn)的距離大于r的區(qū)域作為像素收縮區(qū)域。