[發明專利]一種三維場景重構方法和裝置

在審

• 申請號: 201910839704.0
• 申請日: 2019-09-06
• 公開（公告）號: CN110706329A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 陳松;袁訓明;井方偉
• 申請（專利權）人: 深圳亞聯發展科技股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/50;G06T7/80;G06T7/40
• 代理公司: 44274 深圳市中聯專利代理有限公司
• 代理人: 朱以智

1.一種三維場景重構方法，其特征在于，該方法包括：

對至少一組雙目相機進行相機標定，以修正雙目相機的兩組攝像頭具有相同的視網膜平面；

連續通過雙目相機獲取第一視頻圖像和第二視頻圖像；

對第一視頻圖像和第二視頻圖像的特征因子匹配，以生成基于第一視頻圖像和第二視頻圖像的視差圖；

根據連續多組的視差圖提取的視差，計算圖像的深度數據，以生成深度圖；

根據深度圖中揭示的圖像深度數據進行圖像的點云對齊和拼接，以重構三維曲面；

繪制三維空間，以實現三維場景的重構。

2.根據權利要求1所述的一種三維場景重構方法，其特征在于，在根據深度圖中揭示的圖像深度數據進行圖像的點云對齊和拼接，以重構三維曲面之后，繪制三維空間，以實現三維場景的重構之前，該方法還包括：根據第一視頻圖像和第二視頻圖像的紋理信息，生成紋理矩陣以進行紋理貼圖，并具體包括：

根據第一視頻圖像和第二視頻圖像中特征因子的紋理信息確定特征因子在光源視點下的紋理坐標；

通過opengl算法和光源視點下的紋理坐標，生成視點位置下的紋理坐標；

根據紋理坐標生成紋理陰影地圖，并生成紋理矩陣；

將紋理矩陣與三維曲面數據相關聯。

3.根據權利要求1所述的一種三維場景重構方法，其特征在于，所述對第一視頻圖像和第二視頻圖像的特征因子匹配，以生成基于第一視頻圖像和第二視頻圖像的視差圖，具體包括：

提取第一視頻圖像和第二視頻圖像中的特征因子；

將第一視頻圖像和第二視頻圖像中的特征因子相匹配，以關聯第一視頻圖像和第二視頻圖像所拍攝的物理位置；

根據特征因子在第一視頻圖像中和第二視頻圖像中的位置差異，匯聚以生成視差圖。

4.根據權利要求3所述的一種三維場景重構方法，其特征在于，所述將第一視頻圖像和第二視頻圖像中的特征因子相匹配的具體方法為：

通過SURF特征匹配算法匹配第一視頻圖像和第二視頻圖像中的特征因子；

根據第一視頻圖像和第二視頻圖像中的特征因子的分差距達到預設值確定特征因子匹配無誤；

通過RANSAC算法確定特征因子在第一視頻圖像和第二視頻圖像之間的單應矩陣；

根據上述單應矩陣，將第一視頻圖像中的特征因子的坐標映射到第二視頻圖像中，并根據映射后的第一視頻圖像中的特征因子與第二視頻圖像中的特征因子相匹配，確定特征因子匹配無誤；

根據至少兩組特征因子之間的距離小于預設值，丟棄掉部分特征因子，以使得至少兩組特征因子之間的最小距離大于預設值。

5.根據權利要求1所述的一種三維場景重構方法，其特征在于，根據連續多組的視差圖提取的視差，計算圖像的深度數據，以生成深度圖具體包括：

通過k-means的方法從視差圖中分離出目標區域和輔助區域；

通過局部滑動窗口確定目標區域中每個像素在視差圖中的視差，以確定目標區域中每個像素的深度數據；

通過基于多層次聚類樹優先搜索的二值特征近似匹配算法確定輔助區域中每個像素的視差，以確定輔助區域中每個像素的深度數據；

將目標區域和輔助區域的深度數據融合為整體圖像；

通過中值濾波算法對整體圖像濾波，以生成深度圖。

6.根據權利要求1所述的一種三維場景重構方法，其特征在于，所述對至少一組雙目相機進行相機標定，以修正雙目相機的兩組攝像頭具有相同的視網膜平面具體包括：

分別獲取所述兩組攝像頭的內部參數和外部參數，所述內部參數包括：相機感光元件的長寬，相機感光元件的中點的偏移范圍和焦距，所述外部參數包括：基線距離；

調整所述兩組攝像頭的攝像參數為一致，以使其焦距相同，并近似的共用一個視網膜平面；

通過所述兩組攝像頭拍攝一組圖像，并且根據圖像當中特征因子分別在兩組圖像中的坐標，以及物距、焦距、基線距離之間的對應關系，調整兩組攝像頭，使得特征因子在兩組圖像中的坐標符合與物距、焦距、基線距離之間的對應關系。