[發明專利]一種模型驅動的多視圖鞋模型三維重建方法

有效

• 申請號: 201910794096.6
• 申請日: 2019-08-27
• 公開（公告）號: CN110490973B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 劉曉凱;王靜;畢勝
• 申請（專利權）人: 大連海事大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李馨

1.一種模型驅動的多視圖鞋模型三維重建方法，其特征在于，步驟包括：

根據鞋圖像估計相機外參數設置相機位置，以產生該相機參數下的模型圖像；

提取模型圖像與對應角度鞋圖像的掩膜圖像；

計算左腳外側鞋圖像與對應的模型圖像的輪廓相似性來選取與待恢復鞋圖片最相近的鞋模型作為初始模型；

提取單張模型掩膜圖像輪廓與對應的鞋掩膜圖像輪廓，計算兩個圖像輪廓點間的距離，并記錄所述輪廓中每一個點的位置以及每個點的外法向量；

使用模型輪廓點與圖像輪廓點間的距離與對應的外法線的點積項作為能量函數，依據最小化能量函數準則得到每個模型輪廓點變形到的圖像輪廓點；

使用薄板樣條方法將對應關系插值到整個邊界中，根據能量最小化準則獲取單視圖片網格變形結果；

其余角度鞋圖像根據上述單視圖變形步驟得到每個視圖網格變形結果，得到的每個網格變形結果根據拍攝角度設置置信度，聯合優化最終網格變形結果；

使用鞋圖像求取每張鞋圖片與對應角度的模型圖片的交集作為映射像素，設定連接頂點與相機的連線與相機平面之間的夾角大于閾值的頂點為可見頂點，將圖像顏色反投影到該相機參數下所有可見頂點，通過計算重合部分取中位數并填充孔洞部分，得到最終紋理映射的鞋模型。

2.根據權利要求1所述的模型驅動的多視圖鞋模型三維重建方法，其特征在于，所述鞋圖像包含待恢復鞋圖片左腳外側圖像與其他拍攝角度鞋圖像；所述模型圖像為在模型庫中挑選出的最適合鞋模型的左腳外側鞋模型圖像與其他角度鞋模型圖像。

3.根據權利要求1所述的模型驅動的多視圖鞋模型三維重建方法，其特征在于，所述待恢復鞋圖片中包括左腳外側鞋圖片，以及4到8張不同角度拍攝的鞋照片。

4.根據權利要求1所述的模型驅動的多視圖鞋模型三維重建方法，其特征在于，所述相機參數包括外參數，所述外參數包括旋轉向量rt＝(px,py,pz)，其中，px表示鏡頭不平移且繞x軸做的俯仰旋轉角度；py表示鏡頭不平移且繞垂直軸y軸做的左右搖頭旋轉角度；pz表示鏡頭不平移且繞z軸做的順時針或者逆時針旋轉角度，且px,py,pz的取值范圍均為[0,360°]；

所述旋轉向量的估計包括：

分別以第一固定步長對px、py及pz進行采樣提取鞋模型照片輪廓，基于Hu矩計算模型圖片輪廓與鞋圖片輪廓相似度，選取鞋模型輪廓中最相似的輪廓所對應的旋轉向量作為每一張鞋圖像的rt的粗略估計結果；

以rt的粗略估計結果為中心、以小于所述第一固定步長的第二固定步長向兩側各進行數值采樣，得到的模型圖片輪廓與鞋圖片輪廓進行輪廓相似性運算，以輪廓相似度最好的模型圖像對應的旋轉向量作為每一張鞋圖像rt的精確估計結果。

5.根據權利要求4所述的模型驅動的多視圖鞋模型三維重建方法，其特征在于，所述外參數還包括平移向量t＝(tx、ty、tz)，其中tx表示沿著水平方向相機的移動距離；ty表示沿著垂直方向相機的移動距離；tz表示沿著前后方向相機的移動距離；

所述平移向量的估計包括：

以第三固定步長對平移向量進行調整，直至所呈現的模型圖片輪廓與鞋圖片輪廓大小完全一致，以此時的平移向量為該圖片的平移向量。