[發明專利]一種通過智能手機采集腳型視頻和傳感器數據獲取三維腳型的方法

有效

• 申請號: 201710173548.X
• 申請日: 2017-03-22
• 公開（公告）號: CN106997605B
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 耿衛東;黃倩妮
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/55;G06T17/00
• 代理公司: 33200 杭州求是專利事務所有限公司
• 代理人: 劉靜;邱啟旺<國際申請>=<國際公布>=

1.一種通過智能手機采集腳型視頻和傳感器數據獲取三維腳型的方法，其特征在于，該方法包括以下步驟：

(1)利用智能手機圍繞裸腳旋轉一圈采集腳型視頻和傳感器數據，將視頻分解成視頻幀，并取部分幀作腳型區域分割預處理，同時對腳型數據庫中的參考腳型模型求法向量；

(2)根據多視角立體幾何的約束關系，檢測視頻幀中的特征點并進行匹配，計算攝像機內外參數，恢復特征點對應的三維點云坐標；

(3)加入IMU數據，對步驟2得到的攝像機參數和三維點云坐標進行修正，包括修復多視角算法失敗無法求得攝像機參數的情況和移動三維點云坐標以減小三維坐標計算誤差；

(4)從已有的腳型數據庫中選擇相似的參考腳型模型，對齊重建腳型模型和參考腳型模型，并對重建腳型模型進行去噪、光滑、表面重建處理；

(5)根據重建腳型模型和參考腳型模型之間的局部和整體對齊關系，對參考腳型模型進行形變使其擬合重建腳型模型，輸出最終的重建腳型模型結果。

2.根據權利要求1所述的一種通過智能手機采集腳型視頻和傳感器數據獲取三維腳型的方法，其特征在于，所述步驟(1)具體包括以下子步驟：

(1.1)用帶有陀螺儀和加速計的智能手機繞腳360度拍攝視頻一圈回到原點，拍攝時在腳底放置一張A4紙，拍攝過程中記錄陀螺儀和加速計的數值；拍攝場景中的物體尺寸與真實尺寸之間的比例以A4紙作為參考；

(1.2)將采集到的視頻分解成視頻幀，從視頻幀中等間隔地選擇部分幀進行分割前背景區域，得到視頻幀對應的關于腳型區域的mask視頻；通過檢測視頻幀中A4紙的角點和邊獲取A4紙區域，根據RGB像素值分割A4紙及在A4紙區域內的部分腳型區域；同時，對整幅視頻幀進行邊緣檢測，得到包括腳型邊緣在內的視頻幀邊緣視頻；然后由A4紙區域內的腳型區域向外搜索填充，最終得到初步估計的腳型區域及非腳型區域；建立GMM模型，通過k-mean算法分別對腳型區域像素和非腳型區域像素進行聚類，得到GMM模型中每個高斯模型的像素樣本集，然后根據RGB值計算每個高斯模型的參數均值和協方差，每個高斯模型的權值定義為屬于該高斯模型的像素個數與總像素個數的比值；對每個像素分配GMM模型中的高斯模型，以給定的腳型區域和非腳型區域為參考學習優化GMM模型，迭代分割，最終得到對應視頻幀的腳型輪廓視頻；

(1.3)用Kalibr工具箱對IMU進行標定，求出IMU到攝像機的旋轉矩陣，利用該旋轉矩陣變換攝像機坐標系和IMU坐標系；對于參考腳型模型，頂點v_i的法向量由該頂點和周圍k個鄰近點共同確定；記頂點v_i的第j個鄰近點為(j∈1,…,k)；模型中心點為c，則法向量同時滿足：

其中Face{v_i}為包含點v_i的面片，幾何意義為頂點v_i的法向量由以該點為頂點的面片的法向量的權重和，方向為由中心點指向頂點外側；最終得到每個頂點和每個面片的法向量。

3.根據權利要求1所述的一種通過智能手機采集腳型視頻和傳感器數據獲取三維腳型的方法，其特征在于，所述步驟(2)具體為：對每幀視頻幀進行Brief和Freak特征點檢測和提取，對視頻幀兩兩進行特征匹配，計算單應矩陣，并按純視覺方法計算基本矩陣、本質矩陣，對本質矩陣進行SVD分解求得初始的攝像機姿態參數，同時恢復特征點對應的三維點云坐標。