[發明專利]拍攝實體的圖像處理方法、存儲介質及系統

在審

• 申請號: 202310575906.5
• 申請日: 2023-05-17
• 公開（公告）號: CN116664770A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 顧小東;徐超;趙鄭逸;裘科杰;董子龍;薄列峰
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/08;G06N3/08
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 趙昀彬

本申請公開了一種拍攝實體的圖像處理方法、存儲介質及系統。其中，該方法包括：對拍攝實體進行圖像采集，得到拍攝數據；對拍攝數據進行稀疏重建，得到第一重建結果，其中，第一重建結果用于確定拍攝實體對應的重建范圍；對第一重建結果進行幾何重建，得到第二重建結果，其中，第二重建結果用于確定拍攝實體對應的三維網格模型；對第二重建結果進行顏色重建，得到拍攝實體在目標視角下的渲染展示結果。本申請解決了相關技術中對于拍攝實體進行實時渲染展示時的重建效率低、展示效果差的技術問題，能夠在虛擬現實場景下實現對于拍攝實體的高保真渲染展示。

技術領域

本申請涉及計算機視覺技術領域，具體而言，涉及一種拍攝實體的圖像處理方法、存儲介質及系統。

背景技術

擴展現實(Extended?Reality，XR)是指通過計算機將真實與虛擬相結合，從而打造一個可人機交互的虛擬環境。在XR應用中，對于與現實世界有著緊密聯系的拍攝實體進行復刻展示具有重要研究意義。例如，通過對人、物和場景的實時渲染展示，可以給用戶提供商品或者展品最直觀的感知，該渲染展示過程具有普遍的意義。相關技術中基于人工建模貼圖的展示方案，難以高保真地還原拍攝實體本身，而一些基于神經網絡和體渲染的絡自動化的算法則難以在常見設備上比如手機上進行實時渲染展示，另外一些基于神經網絡和多面體的自動化算法雖然可以加快渲染速度，但是由于采用疊加多面體的原因，并不適合做常見的圖形應用，因此相關技術中對人、物和場景等拍攝實體進行實時渲染后的展示效果較差。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種拍攝實體的圖像處理方法、存儲介質及系統，以至少解決相關技術中對于拍攝實體進行實時渲染展示時的重建效率低、展示效果差的技術問題。

根據本申請實施例的一個方面，提供了一種拍攝實體的圖像處理方法，包括：對拍攝實體進行圖像采集，得到拍攝數據；對拍攝數據進行稀疏重建，得到第一重建結果，其中，第一重建結果用于確定拍攝實體對應的重建范圍；對第一重建結果進行幾何重建，得到第二重建結果，其中，第二重建結果用于確定拍攝實體對應的三維網格模型；對第二重建結果進行顏色重建，得到拍攝實體在目標視角下的渲染展示結果。

根據本申請實施例的另一方面，還提供了一種拍攝實體的圖像處理方法，包括：接收來自于客戶端的拍攝數據，其中，拍攝數據通過對拍攝實體進行圖像采集得到；對拍攝數據進行稀疏重建以得到第一重建結果，對第一重建結果進行幾何重建以得到第二重建結果，以及對第二重建結果進行顏色重建以得到拍攝實體在目標視角下的渲染展示結果，其中，第一重建結果用于確定拍攝實體對應的重建范圍，第二重建結果用于確定拍攝實體對應的三維網格模型；將渲染展示結果反饋至客戶端。

根據本申請實施例的另一方面，還提供了一種拍攝實體的渲染展示方法，包括：在虛擬現實VR設備或增強現實AR設備的呈現畫面上展示第一視角下的渲染展示結果，其中，渲染展示結果依次通過對拍攝數據進行稀疏重建以得到第一重建結果，對第一重建結果進行幾何重建以得到第二重建結果，以及對第二重建結果進行顏色重建后得到，拍攝數據通過對拍攝實體進行圖像采集得到，第一重建結果用于確定拍攝實體對應的重建范圍，第二重建結果用于確定拍攝實體對應的三維網格模型；響應于接收到的視角切換指令，驅動VR設備或AR設備展示第二視角下的渲染展示結果。

根據本申請實施例的另一方面，還提供了一種計算機可讀存儲介質，計算機可讀存儲介質包括存儲的可執行程序，其中，在可執行程序運行時控制計算機可讀存儲介質所在設備執行本申請實施例中任意一項的拍攝實體的圖像處理方法或本申請實施例中的拍攝實體的渲染展示方法。