[發(fā)明專利]圖像處理方法及裝置、擴(kuò)展現(xiàn)實(shí)系統(tǒng)、計(jì)算機(jī)設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110087233.X
• 申請日: 2021-01-22
• 公開（公告）號: CN112887646B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 苗京花;鄢名揚(yáng);李文宇;王雪豐;范清文;張浩;陳麗莉
• 申請（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司;北京京東方光電科技有限公司
• 主分類號: H04N7/01
• 分類號: H04N7/01;G06V40/16
• 代理公司: 北京正理專利代理有限公司 11257
• 代理人: 李澤彥

本申請實(shí)施例公開一種圖像處理方法及裝置、擴(kuò)展現(xiàn)實(shí)系統(tǒng)、計(jì)算機(jī)設(shè)備及介質(zhì)。該方法的一具體實(shí)施方式包括：獲取人眼的注視點(diǎn)位置，確定圖像的注視區(qū)；圖像渲染裝置對注視區(qū)以第一幀率進(jìn)行第一分辨率渲染，對全視場區(qū)以第二幀率進(jìn)行第二分辨率渲染，圖像渲染裝置在第一分辨率渲染后輸出注視區(qū)圖像，在第二分辨率渲染后輸出的是對注視區(qū)圖像與全視場區(qū)圖像拼接得到的第一拼接圖像，或，向擴(kuò)展現(xiàn)實(shí)裝置輸出的是對當(dāng)前渲染得到的注視區(qū)圖像與對全視場區(qū)圖像進(jìn)行n等分后得到的子圖像拼接得到的第二拼接圖像。該方法通過分時(shí)、分批輸出全視場區(qū)圖像，可提升注視區(qū)圖像的傳輸資源占比，確保注視區(qū)圖像的高清晰度和高刷新率。

技術(shù)領(lǐng)域

本申請涉及擴(kuò)展現(xiàn)實(shí)技術(shù)領(lǐng)域。更具體地，涉及一種面向擴(kuò)展現(xiàn)實(shí)的圖像處理方法及裝置、擴(kuò)展現(xiàn)實(shí)系統(tǒng)、計(jì)算機(jī)設(shè)備及介質(zhì)。

背景技術(shù)

擴(kuò)展現(xiàn)實(shí)技術(shù)(XR，Extended?Reality)作為一種新興的技術(shù)，正在逐漸進(jìn)入人們的視野，并且在各行各業(yè)中得到應(yīng)用和普及。其中，擴(kuò)展現(xiàn)實(shí)技術(shù)具體包含虛擬現(xiàn)實(shí)技術(shù)(VR，Virtual?Reality)、增強(qiáng)現(xiàn)實(shí)技術(shù)(AR，Augmented?Reality)、混合現(xiàn)實(shí)技術(shù)(MR，MixedReality)等。

隨著擴(kuò)展現(xiàn)實(shí)技術(shù)的發(fā)展，分辨率和刷新率進(jìn)一步提升，意味著傳輸圖像時(shí)，每幀輸出的信號量就越大，對傳輸帶寬的要求就越高，系統(tǒng)的渲染能力和系統(tǒng)端到顯示端的傳輸能力受到很大挑戰(zhàn)。現(xiàn)有技術(shù)中的擴(kuò)展現(xiàn)實(shí)設(shè)備面對超高分辨率的擴(kuò)展現(xiàn)實(shí)應(yīng)用圖像，性能有所不足，導(dǎo)致最終擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的畫面的幀率不足，畫面存在卡頓現(xiàn)象，無法滿足用戶對于畫面的流暢度要求；同時(shí)圖像渲染過程中還存在冗余渲染，導(dǎo)致渲染資源和傳輸資源浪費(fèi)。

發(fā)明內(nèi)容

本申請的目的在于提供一種面向擴(kuò)展現(xiàn)實(shí)的圖像處理方法及裝置、擴(kuò)展現(xiàn)實(shí)系統(tǒng)、計(jì)算機(jī)設(shè)備及介質(zhì)，以解決現(xiàn)有技術(shù)存在的問題中的至少一個。

為達(dá)到上述目的，本申請采用下述技術(shù)方案：

本申請第一方面提供了一種面向擴(kuò)展現(xiàn)實(shí)的圖像處理方法，包括：

獲取人眼的注視點(diǎn)位置，并根據(jù)所述注視點(diǎn)位置確定圖像的注視區(qū)；

圖像渲染裝置對所述注視區(qū)以第一幀率進(jìn)行第一分辨率渲染，對全視場區(qū)以第二幀率進(jìn)行第二分辨率渲染，所述第一分辨率大于所述第二分辨率，所述第一幀率為所述第二幀率的n倍，n≥2；

圖像渲染裝置在第一分辨率渲染后向擴(kuò)展現(xiàn)實(shí)裝置輸出注視區(qū)圖像，其中，在第二分辨率渲染后向擴(kuò)展現(xiàn)實(shí)裝置輸出的是對當(dāng)前渲染得到的注視區(qū)圖像與全視場區(qū)圖像拼接得到的第一拼接圖像，或，在第一分辨率渲染后向擴(kuò)展現(xiàn)實(shí)裝置輸出的是對當(dāng)前渲染得到的注視區(qū)圖像與對當(dāng)前渲染得到的全視場區(qū)圖像進(jìn)行n等分后得到的子圖像拼接得到的第二拼接圖像。

本申請第一方面所提供的圖像處理方法，通過不同的分辨率渲染注視區(qū)和全視場區(qū)，有效減少渲染的工作量以及相應(yīng)產(chǎn)生的渲染數(shù)據(jù)和數(shù)據(jù)傳輸量，減輕圖像數(shù)據(jù)的傳輸壓力；同時(shí)，該方法通過對全視場區(qū)圖像降頻渲染，同時(shí)分時(shí)或者分批輸出全視場區(qū)圖像，減少非注視區(qū)的渲染資源和傳輸資源的占有率，提高注視區(qū)圖像的傳輸資源占比，確保注視區(qū)圖像的高清晰度和高刷新率，進(jìn)而提升擴(kuò)展現(xiàn)實(shí)系統(tǒng)的渲染有效性和傳輸有效率。

在一種可能的實(shí)現(xiàn)方式中，該方法還包括：

擴(kuò)展現(xiàn)實(shí)裝置對接收的注視區(qū)圖像和第一拼接圖像實(shí)時(shí)解析并顯示，或，

擴(kuò)展現(xiàn)實(shí)裝置對接收的第二拼接圖像實(shí)時(shí)解析，實(shí)時(shí)顯示解析得到的注視區(qū)圖像，存儲解析得到的子圖像并在獲取到整幅全視場區(qū)圖像時(shí)顯示。