[發(fā)明專利]增強(qiáng)現(xiàn)實效果的動態(tài)優(yōu)雅降級

在審

• 申請?zhí)枺?/td>: 201780097961.0
• 申請日: 2017-11-06
• 公開（公告）號: CN111527524A
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計）人: 阿爾瓦羅·科利特羅米亞;圖利·默雷爾;赫爾梅斯·蓋爾米·皮克·科奇斯;克里希南·拉姆納斯;托馬斯·沃德·邁耶;李嬌;史蒂文·基什
• 申請（專利權(quán)）人: 臉譜公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/20;G06K9/00
• 代理公司: 北京安信方達(dá)知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 俞立文;楊明釗

在一個實施例中，一種方法包括由設(shè)備基于與場景相關(guān)聯(lián)的第一視頻幀，使用第一跟蹤算法生成第一跟蹤數(shù)據(jù)。可以基于第一跟蹤數(shù)據(jù)顯示增強(qiáng)現(xiàn)實(AR)效果。該設(shè)備可以生成與第一跟蹤數(shù)據(jù)相關(guān)聯(lián)的第一置信度得分，并且確定第一置信度得分高于閾值。該設(shè)備可以基于第一視頻幀之后的第二視頻幀，使用第一跟蹤算法生成第二跟蹤數(shù)據(jù)。該設(shè)備可以確定相關(guān)聯(lián)的第二置信度得分低于閾值。作為響應(yīng)，設(shè)備可以基于第二視頻幀之后的第三視頻幀，使用不同于第一跟蹤算法的第二跟蹤算法來生成第三跟蹤數(shù)據(jù)。該設(shè)備然后可以基于第三跟蹤數(shù)據(jù)顯示AR效果。

技術(shù)領(lǐng)域

本公開總體上涉及增強(qiáng)現(xiàn)實效果，尤其涉及用于跟蹤對象的系統(tǒng)和方法。

背景

增強(qiáng)現(xiàn)實(AR)效果是疊加或合并到現(xiàn)實世界場景的用戶視圖中的計算機(jī)生成的視覺效果(例如，圖像和動畫)。某些AR效果可以被配置為跟蹤現(xiàn)實世界中的對象。例如，計算機(jī)生成的獨(dú)角獸可以如在視頻中捕獲的被放置在現(xiàn)實世界桌子上。當(dāng)桌子在所捕獲的視頻中移動(例如，由于攝像機(jī)移動或桌子被搬走)時，所生成的獨(dú)角獸可以跟隨桌子，使得它繼續(xù)出現(xiàn)在桌子的頂部上。為了實現(xiàn)這個效果，AR應(yīng)用可以使用跟蹤算法來跟蹤出現(xiàn)在現(xiàn)實世界場景中的對象的位置和/或定向，并且使用得到的跟蹤數(shù)據(jù)來生成適當(dāng)?shù)腁R效果。因為當(dāng)場景被觀察時AR效果可以實時或接近實時地增強(qiáng)現(xiàn)實世界場景，所以可能需要實時或接近實時地生成跟蹤數(shù)據(jù)，使得AR效果如所期望的出現(xiàn)。

然而，跟蹤算法可能需要大量的硬件資源來動態(tài)地產(chǎn)生期望的結(jié)果。由于AR應(yīng)用可能在具有不同級別的資源和能力的設(shè)備上運(yùn)行，因此一刀切的方法可能會導(dǎo)致質(zhì)量受損。舉例來說，一個實現(xiàn)最好但(在計算要求方面)成本最大的算法的AR應(yīng)用可能會在任何達(dá)不到最好的設(shè)備上以明顯滯后或幀丟失產(chǎn)生AR效果。另一方面，如果AR應(yīng)用替代地實現(xiàn)了成本較低的算法，該算法產(chǎn)生的結(jié)果不是最佳的，那么這樣做就意味著AR應(yīng)用將無法以其全部的潛力運(yùn)行在最先進(jìn)的設(shè)備上。除了在其上運(yùn)行AR應(yīng)用的硬件之外，可能很難預(yù)測跟蹤算法可能被要求來跟蹤的真實世界對象的種類。由于某些跟蹤算法可能比其他跟蹤算法更適合于跟蹤具有某些特征的對象，所以實現(xiàn)單個跟蹤算法的AR應(yīng)用有時可能表現(xiàn)不佳。例如，如果AR應(yīng)用實現(xiàn)了高度精確但魯棒性較低的跟蹤算法，則AR應(yīng)用可能受限于適合于該算法的特定操作條件。另一方面，如果AR應(yīng)用實現(xiàn)了魯棒性更高但不太精確的跟蹤算法，那么在其他更精確的跟蹤算法可用的情況下，它的性能將是次優(yōu)的。

特定實施例概述

本文描述的實施例涉及用于使AR應(yīng)用能夠在不同算法之間動態(tài)切換以在給定底層設(shè)備的能力和當(dāng)前運(yùn)行環(huán)境的情況下產(chǎn)生最佳AR效果的系統(tǒng)和方法。用于在這些算法之間切換的特定實施例采取(例如，在精度和/或計算成本方面的)漸進(jìn)降級的方法。這意味著算法最初可能會嘗試使用需要最高計算資源的高質(zhì)量算法來跟蹤對象，并降級到需要較少計算資源的下一層算法，直到性能令人滿意。因此，本文描述的特定實施例可以提高AR應(yīng)用的魯棒性，因為生成AR效果的方式可以基于實時性能和/或設(shè)備資源來動態(tài)調(diào)整。此外，由于跟蹤算法的精度和性能也可能取決于現(xiàn)實世界場景的特征(例如，對象的形狀和移動、照明等)，隨著現(xiàn)實世界場景的變化，可以動態(tài)地選擇最合適的跟蹤算法來產(chǎn)生最佳結(jié)果。