[發明專利]人臉三維點云超分辨率融合方法及應用其的數據處理裝置

有效

• 申請號: 201610051083.6
• 申請日: 2016-01-26
• 公開（公告）號: CN105719352B
• 公開（公告）日: 2018-10-19
• 發明（設計）人: 黃志堅;郭裕蘭;李洪
• 申請（專利權）人: 湖南拓視覺信息技術有限公司
• 主分類號: G06T19/20
• 分類號: G06T19/20
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒

公開了一種人臉三維點云超分辨率融合方法及應用其的數據處理裝置。通過人臉檢測、人臉姿態校正、點云對準、多視角表面融合四個步驟，無需對各個光照方向進行融合，通過投影到二維平面進行融合的方法，大大提高了效率。由于采用先姿態校正再融合的策略，充分利用了人臉的幾何形狀特性，既保持了數據的精度，又降低了問題的復雜度。同時，由于未直接在三維空間對點云進行插值和濾波，而是先投影到二維平面再進行插值和濾波，大大提高了算法效率。由粗到精的點云對準策略，既可避免陷入局部最優，又可加速收斂速度。

技術領域

本發明涉及三維圖像處理技術領域，具體涉及一種人臉三維點云超分辨率融合方法及應用其的數據處理裝置。

背景技術

隨著三維成像技術的日益成熟，實時的三維數據采集成為了現實。由于三維點云保留了深度數據，能夠更好地表達和描述現實世界，使得人工智能系統更容易理解現實世界，有望帶來機器視覺的根本性突破。

由于目前傳感器技術的限制，單幀采集的點云密度不夠，難以支持對模型細節的描述，同時，單幀點云會包含各類噪聲和孔洞等。更重要的是，單幀點云獲得的只是模型在某個視角下的深度信息，通常不是完整的模型。因此，將多幀點云數據進行超分辨率融合是三維視覺的基礎和關鍵環節。

現有的三維點云超分辨率融合方法需要耗費的內存和計算量大，數據采集時間長，而且對處理設備的軟硬件要求高，同時，對于人臉三維點云進行融合后的分辨率難以達到應用的要求。

發明內容

有鑒于此，本發明提供一種人臉三維點云超分辨率融合方法及應用其的數據處理裝置，降低融合的計算量，同時提高融合的效率和點云分辨率，為三維人臉識別提供高分辨率、低噪聲、無孔洞的點云數據。

第一方面，提供一種人臉三維點云超分辨率融合方法，包括：

以掃描方式獲取多幀三維人體點云數據，每幀三維人體點云數據至少包括人的臉部的點云數據；

對所述多幀三維人體點云數據分別進行三維人臉檢測，截取獲得多個對應于不同幀的初始人臉三維點云；

以迭代方式對每個初始人臉三維點云進行姿態校正，直至本次迭代前和迭代后的人臉三維點云的旋轉矩陣為單位矩陣；

對于所有相鄰幀對應的兩個經過姿態校正的人臉三維點云順序進行粗對準操作，所述粗對準操作計算獲得使得人臉三維點云降維采樣得到數據集中的對應點對數量最多的粗對準變換矩陣，其中，對應點對是指兩個數據集中，距離小于2個數據分辨率的點對；

對所有相鄰幀對應的兩個粗對準操作后的人臉三維點云進行精對準操作，所述精對準操作通過以迭代方式對人臉三維點云進行點坐標轉換直到人臉三維點云的誤差滿足預定條件；

分別從多個不同視角分別將所有經過精對準操作的人臉三維點云的可視點集進行融合操作獲得超分辨率融合點云，并合并多次融合操作得到的超分辨率融合點云以獲得超分辨率人臉三維點云。

優選地，以迭代方式對每個初始人臉三維點云進行姿態校正，直至本次迭代前和迭代后的人臉三維點云的旋轉矩陣為單位矩陣包括：

根據迭代前的人臉三維點云的點云向量計算均值和協方差矩陣，其中，迭代前的人臉三維點云的點云向量為P＝[P₁,P₂,...,P_k,...,P_n]，P_k為第k個點的坐標向量，n為人臉三維點云的點數量；

對協方差矩陣進行SVD分解獲得特征向量組成的矩陣和特征值組成的對角矩陣；

基于如下公式進行姿態校正獲得迭代后的人臉三維點云的點云向量：

P'＝V(P-m)