[發(fā)明專利]多媒體和多文件的多媒體實(shí)時(shí)渲染方法、系統(tǒng)及裝置

有效

• 申請?zhí)枺?/td>: 202010589168.6
• 申請日: 2020-06-24
• 公開（公告）號: CN111752435B
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 段太鋼;姚遠(yuǎn);劉永建;李厚鵬;周勁羽
• 申請（專利權(quán)）人: 北京小鳥科技股份有限公司
• 主分類號: G06F3/0481
• 分類號: G06F3/0481;G06T7/40;G06T1/20
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種多媒體和多文件的多媒體實(shí)時(shí)渲染方法、系統(tǒng)及裝置，旨在為了解決現(xiàn)有技術(shù)在同時(shí)打開多種類型的多媒體資源的場景下，無法實(shí)現(xiàn)穩(wěn)定的高刷新率顯示以及流暢的交互操作問題。本發(fā)明主進(jìn)程獲取要打開的多媒體文件；創(chuàng)建渲染子進(jìn)程進(jìn)行文件加載、創(chuàng)建共享紋理對象；主進(jìn)程在容器中新建共享紋理任務(wù)；Uinty渲染線程執(zhí)行打開共享紋理指令，打開共享紋理，進(jìn)行多媒體文件的實(shí)時(shí)渲染。在打開失敗及后續(xù)有新的共享紋理任務(wù)排隊(duì)等待時(shí)，及時(shí)關(guān)閉舊的共享紋理任務(wù)，僅保留最后一次更新的共享紋理進(jìn)行顯示及渲染。本發(fā)明避免創(chuàng)建無效的Unity紋理，程序能夠保持穩(wěn)定的高刷新率顯示，保證交互操作的流暢性，避免場景閃爍的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及了一種多媒體和多文件的多媒體實(shí)時(shí)渲染方法、系統(tǒng)及裝置。

背景技術(shù)

在顯示控制領(lǐng)域日益發(fā)展的今天，刷新率越來越高的顯示器和高質(zhì)量的多媒體資源，都在不斷地挑戰(zhàn)軟硬件的性能。在多媒體應(yīng)用軟件中，用戶輸入操作指令后，軟件要根據(jù)指令打開多媒體資源并更新渲染，輸出新的畫面，完成對用戶指令的相應(yīng)。由于人眼的生理構(gòu)造，要保證基本的交互體驗(yàn)，軟件必須以至少30幀/秒的速率進(jìn)行渲染。

隨著顯示器的刷新率不斷提高以及用戶對體驗(yàn)的不斷追求，30幀/秒的渲染速率已經(jīng)不能滿足當(dāng)下該領(lǐng)域的需求。但軟件如果以高刷新率渲染，那么幀與幀之間的渲染間隔時(shí)間變短，這就意味著軟件要在很短的時(shí)間內(nèi)，完成對用戶輸入的響應(yīng)，并渲染輸出新的畫面。并且，由于高質(zhì)量多媒體資源的解析更為復(fù)雜、數(shù)據(jù)量非常之大，當(dāng)一個(gè)間隔中需要處理的數(shù)據(jù)量超過顯卡的負(fù)荷時(shí)，就會(huì)導(dǎo)致渲染時(shí)間變大，從而難以保證流暢的交互體驗(yàn)。

為了保證大量的多媒體資源渲染時(shí)的交互體驗(yàn)，部分軟件采用分批次增量向顯卡提交渲染數(shù)據(jù)的方法，該方法雖然保證了流暢交互所需的渲染速率，但當(dāng)數(shù)據(jù)量過于龐大時(shí)，分批次增量渲染的方式會(huì)導(dǎo)致畫面渲染不完整，出現(xiàn)局部閃爍等不可避免地現(xiàn)象。

總的來說，現(xiàn)有的多媒體渲染系統(tǒng)中，同時(shí)打開并播放多種媒體資源的場景下，資源的加載和播放，會(huì)降低主進(jìn)程的刷新率，幀率下降的同時(shí)，UI的輸入采樣率也會(huì)降低，導(dǎo)致界面卡頓進(jìn)而影響該場景下的媒體資源的展示以及用戶操作體驗(yàn)的流暢性，同時(shí)可能會(huì)帶來閃爍以及一些無法預(yù)知的問題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即現(xiàn)有技術(shù)在同時(shí)打開多種類型的多媒體資源的場景下，無法實(shí)現(xiàn)穩(wěn)定的高刷新率顯示以及流暢的交互操作的問題，本發(fā)明提供了一種多媒體實(shí)時(shí)渲染方法，該實(shí)時(shí)渲染方法包括：

步驟S10，主進(jìn)程基于獲取的多媒體文件以及文件打開指令創(chuàng)建渲染子進(jìn)程，并生成第一指令發(fā)送至渲染子進(jìn)程；所述第一指令為渲染子進(jìn)程觸發(fā)運(yùn)行指令；

步驟S20，渲染子進(jìn)程基于所述第一指令，加載所述多媒體文件以及創(chuàng)建共享紋理對象，并生成第二指令發(fā)送至主進(jìn)程；所述第二指令為更新渲染紋理指令；

步驟S30，主進(jìn)程基于所述第二指令，清空共享紋理任務(wù)容器以及在容器中新建共享紋理任務(wù)，并生成第三指令發(fā)送至Unity渲染線程；所述第三指令為打開共享紋理指令；

步驟S40，Unity渲染線程基于所述第三指令，打開共享紋理，進(jìn)行所述多媒體文件的實(shí)時(shí)渲染。

在一些優(yōu)選的實(shí)施例中，所述實(shí)時(shí)渲染方法還包括失敗共享紋理任務(wù)清除的步驟，其方法為：

Unity渲染線程生成共享紋理打開結(jié)果消息發(fā)送至主進(jìn)程，主進(jìn)程判斷共享紋理是否打開成功，并執(zhí)行：

若不成功，則清除共享紋理任務(wù)，結(jié)束所述多媒體文件的實(shí)時(shí)渲染；若成功，則進(jìn)行所述多媒體文件的實(shí)時(shí)渲染。

在一些優(yōu)選的實(shí)施例中，所述共享紋理打開成功后，還設(shè)置有新共享紋理任務(wù)判斷和執(zhí)行的步驟，其方法為：