[發(fā)明專利]色度下轉(zhuǎn)換和上轉(zhuǎn)換處理

有效

• 申請(qǐng)?zhí)枺?/td>: 201480060259.3
• 申請(qǐng)日: 2014-10-27
• 公開(kāi)（公告）號(hào): CN105745924B
• 公開(kāi)（公告）日: 2018-09-21
• 發(fā)明（設(shè)計(jì)）人: L·朱;S·桑庫(kù)拉提;B·A·庫(kù)馬;N·阿布多
• 申請(qǐng)（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號(hào): H04N9/64
• 分類號(hào): H04N9/64
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 段登新

公開(kāi)了用于處理屏幕內(nèi)容的色度，包括屏幕內(nèi)容的上轉(zhuǎn)換和下轉(zhuǎn)換，的方法和系統(tǒng)。一種方法包括在計(jì)算設(shè)備處將屏幕內(nèi)容的色度從第一格式下采樣為第二格式，所述第二格式與視頻編解碼器兼容。該方法還包括使用所述視頻編解碼器壓縮所述第二格式的經(jīng)下轉(zhuǎn)換的屏幕內(nèi)容來(lái)生成經(jīng)壓縮的經(jīng)下轉(zhuǎn)換的屏幕內(nèi)容。該方法進(jìn)一步包括將所述經(jīng)壓縮的經(jīng)下轉(zhuǎn)換的屏幕內(nèi)容傳送到第二計(jì)算設(shè)備。

背景

屏幕內(nèi)容，或由計(jì)算系統(tǒng)在顯示器上向用戶顯示的描述信息的數(shù)據(jù)，通常包括多個(gè)不同類型的內(nèi)容。這些內(nèi)容可包括，例如，文本內(nèi)容、視頻內(nèi)容、靜態(tài)圖像(例如，窗口或其它GUI元素的顯示)、以及幻燈片或其它呈現(xiàn)素材。屏幕內(nèi)容被越來(lái)越多地遠(yuǎn)程遞送，例如使得兩個(gè)或多個(gè)遠(yuǎn)程計(jì)算系統(tǒng)可共享公共的顯示從而允許兩個(gè)位于遠(yuǎn)程的個(gè)體同時(shí)查看相同屏幕，或另外地在電話會(huì)議中遞送使得屏幕在多個(gè)個(gè)體之間共享。

一般而言，在工作室中通過(guò)相機(jī)或基于其它基于圖像或基于文本的屏幕圖像(例如，顯示窗口)捕捉的屏幕內(nèi)容是按照RGB格式捕捉的。特定RGB格式可在用于每個(gè)顏色通道的比特?cái)?shù)方面變化，諸如R8B8G8(R、G和B顏色通道中的每一者都有8個(gè)比特)或R16G16B16(每個(gè)通道16比特)。如果此數(shù)據(jù)隨后被轉(zhuǎn)換為相應(yīng)的亮度-色度(luminance-chrominance)布置(即，YUV格式的)，則相應(yīng)的格式將為YUV444，其需要每個(gè)像素總共6個(gè)信息字節(jié)。

由于屏幕內(nèi)容被遠(yuǎn)程遞送，并且歸因于漸增的屏幕分辨率，希望將此內(nèi)容壓縮到低于其本身位圖尺寸的大小、以節(jié)省帶寬并增強(qiáng)傳輸效率。相應(yīng)地，被配置成發(fā)送和/或接收視頻或屏幕數(shù)據(jù)的許多設(shè)備僅能夠接受較低客觀質(zhì)量數(shù)據(jù)但是具有視覺(jué)上較少丟失的主觀質(zhì)量，諸如YUV422數(shù)據(jù)，其需要4個(gè)字節(jié)來(lái)描述2個(gè)像素，或YUV411數(shù)據(jù)，其需要6個(gè)字節(jié)來(lái)描述4像素，或者甚至因?yàn)槟軒?lái)視頻內(nèi)容的視覺(jué)上無(wú)損的質(zhì)量而常用的YUV420數(shù)據(jù)，其也需要6個(gè)字節(jié)來(lái)描述4個(gè)像素，但是其被重新排序以對(duì)Y、U和V值編組。此類設(shè)備僅能夠管理此類較小數(shù)據(jù)大小以處理和壓縮(例如，使用移動(dòng)圖片專家組(MPEG)編解碼器，諸如基于H.264或HEVC的編解碼器)。然而，從YUV444到這些其它格式之一的轉(zhuǎn)換通常通過(guò)丟棄描述每個(gè)像素的部分?jǐn)?shù)據(jù)來(lái)執(zhí)行(即，下采樣)，這導(dǎo)致一些顏色信息的丟失。

越來(lái)越多地因?yàn)槠聊粌?nèi)容被傳送以在遠(yuǎn)程系統(tǒng)上觀看，所以從YUV444到Y(jié)UV420或通常僅被用于視頻傳送的某種其它較低質(zhì)量格式數(shù)據(jù)的丟失是必須的；然而，因?yàn)槠聊粌?nèi)容不僅包括視頻內(nèi)容還包括靜態(tài)圖像以及文本內(nèi)容，所以使用較低質(zhì)量格式是不期望的。然而，當(dāng)設(shè)備接收到此類經(jīng)編碼的屏幕內(nèi)容并解碼/解壓該內(nèi)容時(shí)，該設(shè)備在其中屏幕內(nèi)容被接收的較低質(zhì)量格式(例如，YUV420等)中這樣做。在一些情況下，經(jīng)解碼的內(nèi)容隨后被上轉(zhuǎn)換到Y(jié)UV444。這導(dǎo)致多個(gè)問(wèn)題。例如，這種上轉(zhuǎn)換通常使用最近像素方法或雙線性方法來(lái)實(shí)現(xiàn)上轉(zhuǎn)換來(lái)執(zhí)行。使用這些技術(shù)導(dǎo)致在屏幕內(nèi)容被上轉(zhuǎn)換到Y(jié)UV444格式之后在屏幕內(nèi)容中造成偽像。例如，如果文本是特定顏色的，則該文本可能消失，或其它偽像可能出現(xiàn)(例如，所得到的圖像中的線條或陰影)。這些偽像導(dǎo)致屏幕內(nèi)容的清晰度的缺失，即使被上轉(zhuǎn)換。

概述

概括而言，本公開(kāi)涉及色度下轉(zhuǎn)換技術(shù)，該技術(shù)能用于最小化原本將在將高質(zhì)量格式(例如，YUV444)的圖像數(shù)據(jù)轉(zhuǎn)換為較低質(zhì)量格式以進(jìn)行編碼并向遠(yuǎn)程系統(tǒng)傳送時(shí)產(chǎn)生的視覺(jué)偽像。在一些方面，本公開(kāi)應(yīng)用上轉(zhuǎn)換技術(shù)，該技術(shù)與那些下轉(zhuǎn)換技術(shù)互補(bǔ)來(lái)確保在遠(yuǎn)程系統(tǒng)處重構(gòu)高質(zhì)量圖像數(shù)據(jù)。

在第一方面，公開(kāi)了一種處理屏幕內(nèi)容的色度的方法。該方法包括在計(jì)算設(shè)備處將屏幕內(nèi)容的色度從第一格式下采樣為第二格式，該第二格式與視頻編解碼器兼容。該方法還包括使用該視頻編解碼器壓縮該第二格式的經(jīng)下轉(zhuǎn)換的屏幕內(nèi)容來(lái)生成經(jīng)壓縮的經(jīng)下轉(zhuǎn)換的屏幕內(nèi)容。該方法進(jìn)一步包括將該經(jīng)壓縮的經(jīng)下轉(zhuǎn)換的屏幕內(nèi)容傳送到第二計(jì)算設(shè)備。