[發明專利]AR特效的顯示方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110203047.8
• 申請日: 2021-02-23
• 公開（公告）號: CN112884909A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 李宇飛;張建博
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種AR特效的顯示方法，其特征在于，所述顯示方法包括：

獲取AR設備采集目標場景得到的視頻幀圖像；

基于所述視頻幀圖像，確定目標AR特效，以及基于所述視頻幀圖像，確定所述目標場景的環境信息；

基于所述環境信息，對所述視頻幀圖像進行與所述環境信息對應的處理，并通過所述AR設備展示處理后的視頻幀圖像和所述目標AR特效。

2.根據權利要求1所述的顯示方法，其特征在于，所述視頻幀圖像為視頻流中的至少一幀圖像；

對所述視頻幀圖像進行與所述環境信息對應的處理，并通過所述AR設備展示處理后的視頻幀圖像和所述目標AR特效，包括：

對所述視頻流中的至少部分圖像進行與所述環境信息對應的處理，并通過所述AR設備展示處理后的所述至少部分圖像和所述目標AR特效。

3.根據權利要求1或2所述的顯示方法，其特征在于，所述環境信息包括下述至少一種：時間信息、亮度信息、場景信息、以及天氣信息。

4.根據權利要求3所述的顯示方法，其特征在于，針對所述環境信息包括時間信息的情況，所述基于所述視頻幀圖像，確定所述目標場景的環境信息，包括：

讀取系統時間，基于所述系統時間，確定所述目標場景的時間信息；和/或，

針對所述環境信息包括亮度信息的情況，所述基于所述視頻幀圖像，確定所述目標場景的環境信息，包括：

基于所述視頻幀圖像中各個像素點的像素值，確定所述目標場景的亮度信息；

和/或，

針對所述環境信息包括場景信息的情況，所述基于所述視頻幀圖像，確定所述目標場景的環境信息，包括：

利用預先訓練的場景檢測模型，對所述視頻幀圖像進行場景檢測處理，得到所述目標場景的場景信息；

和/或，

針對所述環境信息包括天氣信息的情況，所述基于所述視頻幀圖像，確定所述目標場景的環境信息，包括：

利用預先訓練的天氣檢測模型，對所述視頻幀圖像進行天氣檢測處理，得到所述目標場景的天氣信息；或者，獲取所述AR設備的地理位置信息；基于所述地理位置信息，獲取所述目標場景的天氣信息。

5.根據權利要求1-4任一項所述的顯示方法，其特征在于，所述基于所述視頻幀圖像，確定目標AR特效，包括：

基于所述視頻幀圖像，確定所述AR設備在所述目標場景的第一位姿信息；

基于所述第一位姿信息、以及至少一個AR特效在所述目標場景的第二位姿信息，從所述至少一個AR特效中確定所述目標AR特效。

6.根據權利要求5所述的顯示方法，其特征在于，所述基于所述視頻幀圖像，確定所述AR設備在所述目標場景的第一位姿信息，包括：

對所述視頻幀圖像進行關鍵點識別，得到所述視頻幀圖像中的第一關鍵點；

基于所述第一關鍵點，從所述目標場景的三維模型的第二關鍵點中，確定與所述第一關鍵點匹配的目標第二關鍵點，并基于目標第二關鍵點在所述場景坐標系下的三維坐標值，確定所述AR設備在所述場景坐標系下的第一位姿信息。

7.根據權利要求6所述的顯示方法，其特征在于，所述基于目標第二關鍵點在所述場景坐標系下的三維坐標值，確定所述AR設備在所述場景坐標系下的第一位姿信息，包括：

基于所述第一關鍵點在圖像坐標系下的二維坐標值、以及所述目標第二關鍵點在所述場景坐標系下的三維坐標值，確定所述AR設備在所述場景坐標系下的第一位姿信息。

8.根據權利要求1-7任一項所述的顯示方法，其特征在于，還包括：確定所述目標AR特效對應的目標環境信息；

所述基于所述環境信息，對所述視頻幀圖像進行與所述環境信息對應的處理，包括：

基于所述環境信息、以及所述目標環境信息，對所述視頻幀圖像進行處理。