[發(fā)明專利]一種人臉三維掃描系統(tǒng)的相機(jī)自動跟蹤方法

在審

• 申請?zhí)枺?/td>: 202110600274.4
• 申請日: 2021-05-31
• 公開（公告）號: CN113538508A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計）人: 劉洋漢
• 申請（專利權(quán)）人: 武漢易維晟醫(yī)療科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T19/00;G06K9/00;G06K9/20;G06K9/32
• 代理公司: 武漢紅觀專利代理事務(wù)所(普通合伙) 42247
• 代理人: 張杰

1.一種人臉三維掃描系統(tǒng)的相機(jī)自動跟蹤方法，其特征在于：包括如下步驟：

S100；啟動對人臉的三維掃描設(shè)備，該設(shè)備具有拍攝人體面部的相機(jī)；

S200：三維掃描設(shè)備以一定幀率進(jìn)行人體面部的圖像的連續(xù)采集并緩存；針對采集到的每一幀圖像，執(zhí)行人臉檢測算法，判斷該幀圖像中是否存在人臉，如果存在人臉，則執(zhí)行步驟S300；如果該幀圖像中不存在人臉，則清空已緩存的該幀圖像，三維掃描設(shè)備提示人體調(diào)整姿態(tài)并重新進(jìn)行人體面部的圖像采集并緩存；

S300：判斷人臉在圖像中的位置是否符合相機(jī)掃描要求，當(dāng)人臉在圖像中位置滿足掃描要求后，表示當(dāng)前人臉處于掃描位置；查詢相機(jī)是否正在跟蹤人臉，如相機(jī)未在跟蹤人臉，則立即開始人臉掃描；如相機(jī)正在跟蹤人臉，或者人臉位置不符合掃描要求，則執(zhí)行步驟S400；

S400：三維掃描設(shè)備開始連續(xù)記錄當(dāng)前人臉的位置，并計算若干個人臉位置的方差，當(dāng)方差小于人臉位置閾值時，說明人臉的位置穩(wěn)定，跳轉(zhuǎn)到步驟S500；如果方差大于人臉位置閾值時，表示人臉的位置不穩(wěn)定，清空已緩存的人臉位置不符合相機(jī)掃描要求的各幀圖像，返回重新執(zhí)行步驟S200；

S500：三維掃描設(shè)備執(zhí)行自動跟蹤算法進(jìn)行人臉的自動跟蹤掃描，對相機(jī)的位置或者用戶姿勢的雙向調(diào)整，使得相機(jī)能夠獲得合格的人臉姿態(tài)，獲得合格的人臉姿態(tài)后，停止執(zhí)行自動跟蹤算法，返回重新執(zhí)行步驟S200—S300，開始人臉掃描。

2.根據(jù)權(quán)利要求1所述的一種人臉三維掃描系統(tǒng)的相機(jī)自動跟蹤方法，其特征在于：所述人臉在圖像中位置滿足掃描要求，是指人臉位置距離相機(jī)采集的圖像橫向方向邊距不超過圖像總體寬度的1/5，且人臉位置距離圖像縱向方向邊距不超過圖像總體高度的1/5。

3.根據(jù)權(quán)利要求2所述的一種人臉三維掃描系統(tǒng)的相機(jī)自動跟蹤方法，其特征在于：所述三維掃描設(shè)備執(zhí)行自動跟蹤算法包括如下步驟：

S501：在獲取的緩存圖像中預(yù)設(shè)矩形的人臉ROI區(qū)域A，區(qū)域A每個頂點(diǎn)的坐標(biāo)為(x_Ai,y_Ai)；令每一張緩存的圖像的實際人臉ROI區(qū)域為B，區(qū)域B每個頂點(diǎn)的坐標(biāo)為(x_Bi,y_Bi)；計算預(yù)設(shè)矩形的人臉ROI區(qū)域A與每一張緩存的圖像的實際人臉ROI區(qū)域B之間的均方根誤差RMSE_ROI：設(shè)定人臉區(qū)域均方根誤差閾值，如果RMSE_ROI超過該均方根誤差閾值，計算圖像的實際人臉ROI區(qū)域為B與預(yù)設(shè)人臉ROI區(qū)域A的方向向量v1＝(x_A0,y_A0,0)-(x_B0,y_B0,0)，其中x_A0,y_A0為預(yù)設(shè)人臉ROI區(qū)域A的一個頂點(diǎn)的坐標(biāo)值，x_B0,y_B0為實際人臉ROI區(qū)域為B對應(yīng)的頂點(diǎn)的坐標(biāo)值，由三維掃描設(shè)備驅(qū)動相機(jī)按照方向向量v1的方向來調(diào)整相機(jī)姿態(tài)，重復(fù)執(zhí)行以上步驟；如果RMSE_ROI不超過均方根誤差閾值，則跳轉(zhuǎn)到步驟S502；

S502：進(jìn)行人臉姿態(tài)估計，對人臉圖像進(jìn)行特征點(diǎn)檢測，根據(jù)不同人體的臉型，提取人臉的特征點(diǎn)，并設(shè)定人臉圖像的跟蹤規(guī)則；提取人臉圖像中額頭、眼部、鼻部、口部以及下巴處對應(yīng)的特征點(diǎn)的坐標(biāo)，令這些特征點(diǎn)的在像素坐標(biāo)系的坐標(biāo)為(x₁,y₁)、(x₂,y₂)、…、(x_n,y_n)；將上述特征點(diǎn)映射到三維模型，提取對應(yīng)的三維坐標(biāo)(u₁,v₁,w₁)、(u₂,v₂,w₂)、…、(u_n,v_n,w_n)；根據(jù)相機(jī)成像模型中世界坐標(biāo)系下的坐標(biāo)(U,V,W到相機(jī)坐標(biāo)系的坐標(biāo)(X,Y,Z的變換關(guān)系：和像素坐標(biāo)系與世界坐標(biāo)系的關(guān)系通過一組已知的特征點(diǎn)坐標(biāo)(x₁,y₁)、(x₂,y₂)、…、(x_n,y_n)及其對應(yīng)的三維坐標(biāo)(u₁,v₁,w₁)、(u₂,v₂,w₂)、…、(u_n,v_n,w_n)，采用PNP算法求解變換矩陣M＝[R t]；其中為旋轉(zhuǎn)矩陣，為平移矩陣；f_x、f_y、c_x和c_y為相機(jī)內(nèi)參；并判斷人臉的姿態(tài)是否合格：如果人臉姿態(tài)合格，則轉(zhuǎn)入步驟S503；如果人臉姿態(tài)不合格，則提示人體調(diào)整姿勢，重新執(zhí)行步驟S200—S502，直到人臉姿態(tài)合格；

步驟S503：在世界坐標(biāo)系中預(yù)設(shè)一人臉姿態(tài)；人臉姿態(tài)合格后，以變換矩陣M構(gòu)建空間變換矩陣，對邊長為1且位于世界坐標(biāo)原點(diǎn)的立方體三角網(wǎng)格進(jìn)行空間變換得到人臉的OBB包圍盒Q；預(yù)設(shè)一OBB包圍盒P；計算OBB包圍盒Q與預(yù)設(shè)OBB包圍盒P的均方根誤差RMSE_OBB，令OBB包圍盒Q的各頂點(diǎn)坐標(biāo)為(x_Q,y_Q,z _Q，預(yù)設(shè)OBB包圍盒P的各頂點(diǎn)坐標(biāo)為(x_P,y_P,z_P，設(shè)定包圍盒均方根誤差閾值，當(dāng)均方根誤差RMSE_OBB超過包圍盒均方根誤差閾值時，計算與預(yù)設(shè)人臉姿態(tài)的方向向量v2，三維掃描設(shè)備驅(qū)動相機(jī)按照方向向量v2的方向來調(diào)整相機(jī)姿態(tài)；當(dāng)均方根誤差RMSE_OBB小于包圍盒均方根誤差閾值時，表明當(dāng)前相機(jī)已處于待掃描姿態(tài)，停止相機(jī)跟蹤，重復(fù)步驟S200—步驟S300自動掃描人臉，直到完成人體面部掃描。