[發(fā)明專利]一種基于立體攝像頭的3D人體姿態(tài)評估方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010918815.3
• 申請日: 2020-08-31
• 公開（公告）號: CN112085792A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計）人: 曹文明;鐘建奇
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，包括：

采用立體攝像頭獲取第一視角下的第一信息流及獲取第二視角下第二信息流；

分別對第一信息流、第二信息流進(jìn)行信息流預(yù)處理，得到第一增強型信息流、第二增強型信息流；

利用同步器分別對所述第一增強型信息流和所述第二增強型信息流進(jìn)行幀數(shù)同步，得到已同步的第一增強型信息流、已同步的第二增強型信息流；

根據(jù)所述已同步的第一增強型信息流、所述已同步的第二增強型信息流，采用沙漏堆棧深度神經(jīng)網(wǎng)絡(luò)分別提取所述已同步的第一增強型信息流中第一二維人體姿態(tài)特征、所述已同步的第二增強型信息流中第二二維人體姿態(tài)特征；

利用濾波器對所述第一二維人體姿態(tài)特征濾波，得到第一友好型特征；利用濾波器對所述第二二維人體姿態(tài)特征濾波，得到第二友好型特征；

采用立體三角形法挖掘第一友好型特征和第二友好型特征之間相互關(guān)系，得到三維人體姿態(tài)數(shù)據(jù)，完成人體姿態(tài)評估。

2.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，所述信息流包括至少一張圖像或者視頻。

3.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，所述立體攝像頭包括擺放在不同位置的兩個普通相同的攝像頭，同時記錄兩個攝像頭視角重疊場景，得到所述第一信息流、第二信息流。

4.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，對第一信息流、第二信息流進(jìn)行信息流預(yù)處理，得到第一增強型信息流、第二增強型信息流的步驟包括：

利用張正友標(biāo)定法標(biāo)定立體攝像頭，獲取立體攝像頭內(nèi)外標(biāo)定參數(shù)、畸變參數(shù)。

利用已標(biāo)定好的立體攝像頭分別對所述第一信息流、所述第二信息流進(jìn)行信息流矯正，得到所述第一增強型信息流、第二增強型信息流。

5.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，同步器分別對所述第一增強型信息流和所述第二增強型信息流進(jìn)行幀數(shù)同步，得到已同步的第一增強型信息流、已同步的第二增強型信息流包括：

利用手動同步方式同步第一增強信息流、第二增強信息流，保證第一增強信息流、第二增強信息流在時間域上同步，得到所述已同步的第一增強型信息流、已同步的第二增強型信息流。

6.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，所述二維人體姿態(tài)特征包括至少以下關(guān)鍵點的二維坐標(biāo)：頭、胸腔、左右肩、左右手肘、左右手腕、脊椎、左右髖、左右膝蓋、左右腳腕。

7.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，采用沙漏堆棧深度神經(jīng)網(wǎng)絡(luò)分別提取所述已同步的第一增強型信息流中第一二維人體姿態(tài)特征、所述已同步的第二增強型信息流中第二二維人體姿態(tài)特征包括：

利用沙漏堆棧神經(jīng)網(wǎng)絡(luò)從所述第一增強型信息流中提取包含所述關(guān)鍵點二維坐標(biāo)的所有熱圖。從所有熱圖中提取人體姿態(tài)特征，得到第一二維人體姿態(tài)特征

利用沙漏堆棧神經(jīng)網(wǎng)絡(luò)從所述第二增強型信息流中提取包含所述關(guān)鍵點二維坐標(biāo)的所有熱圖，從所有熱圖中提取人體姿態(tài)特征，得到第二二維人體姿態(tài)特征。

8.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，所述濾波器包括中值濾波器和均值濾波器。

9.根據(jù)權(quán)利要求1所述的基于立體攝像頭的3D人體姿態(tài)評估方法，其特征在于，采用立體三角形法挖掘第一友好型特征和第二友好型特征之間相互關(guān)系，得到3D人體姿態(tài)數(shù)據(jù)包括：

分別根據(jù)第一友好型特征和第二友好型特征，利用立體三角形法求取三維人體姿態(tài)數(shù)據(jù)。

10.一種基于立體攝像頭的3D人體姿態(tài)評估系統(tǒng)，其特征在于，所述系統(tǒng)包括：

信息捕捉單元：用于采用立體攝像頭分別觀測第一視角、第二視角，得到第一信息流、第二信息流；

預(yù)處理單元，用于對立體攝像機進(jìn)行相機標(biāo)定和對所述第一信息流、所述第二信息流進(jìn)行圖像校正，得到第一增強信息流、第二增強信息流；

同步單元：用于根據(jù)所述第一增強信息流、所述第二增強信息流，利用同步器同步所述第一增強信息流、所述第二增強信息流，得到已同步的第一增強型信息流、已同步的第二增強型信息流；

特征提取單元：用于根據(jù)所述已同步的第一增強型信息流、所述已同步的第二增強型信息流，利用所述沙漏堆棧深度神經(jīng)網(wǎng)絡(luò)提取根據(jù)所述已同步的第一增強型信息流的第一二維人體姿態(tài)特征、所述已同步的第二增強型信息流的第二二維人體姿態(tài)特征；

濾波單元：用于采用中值濾波及均值濾波分別對所述第一二維人體姿態(tài)特征、所述第二二維人體姿態(tài)特征進(jìn)行濾波，得到第一友好型特征、第二友好型特征；

3D人體姿態(tài)評估單元：用于根據(jù)所述第一友好型特征、第二友好型特征進(jìn)行3D人體姿態(tài)評估。