[發明專利]一種基于RGBD圖像的坐姿幾何參數檢測方法及系統

在審

• 申請號: 202110543450.5
• 申請日: 2021-05-19
• 公開（公告）號: CN113065532A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 李楊;都思丹;劉晟;朱治亦;吳佳昱
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/70;G06N3/04;G06N3/08
• 代理公司: 南京知識律師事務所 32207
• 代理人: 張蘇沛

1.一種基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，包括以下步驟：

通過圖像攝取，獲取人體坐姿時的RGB圖像信息；

對RGB圖像信息進行深度識別，獲取圖像的深度信息；

對RGB圖像信息進行身體識別，獲取圖像中人體的稠密關鍵點信息；

對RGB圖像信息進行頭部識別，獲取人體的頭部姿態信息；

對深度信息、稠密關鍵點信息和頭部姿態信息進行計算，并獲取坐姿幾何參數。

2.根據權利要求1所述的基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，在對RGB圖像信息進行深度識別時，還包括步驟：

步驟一、對數字化的雙目圖像或視頻進行預處理；

步驟二、對預處理后的雙目圖像或視頻進行計算，并轉換成包含深度信息的深度圖像；

其中，在對數字化的雙目圖像或視頻進行預處理包括步驟：

去除通過圖像攝取獲取到的圖像畸變信息；以圖像卷繞算法為基礎去除通過圖像攝取獲取到的圖像畸變信息；

通過圖像攝取的參數矩陣對雙目圖像進行處理，使左右視圖處于同一平面。

3.根據權利要求1所述的基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，對RGB圖像信息進行深度識別，獲取圖像的深度信息包括步驟：

使用深度學習視差網絡計算得到左右視圖的視差圖像；

根據物體視差與實際物體距離圖像攝取的距離間的線性轉換關系，將所得的視差圖轉換成包含深度信息的深度圖像。

4.根據權利要求1所述的基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，對RGB圖像信息進行身體識別，獲取圖像中人體的稠密關鍵點信息包括步驟：

對RGB圖像信息中人體全身的稠密關鍵點進行識別；

從識別出的稠密關鍵點中選取出所需稠密關鍵點，并將該稠密關鍵點傳輸給幾何參數獲取的計算中。

5.根據權利要求1所述的基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，對RGB圖像信息進行頭部識別，獲取人體的頭部姿態信息包括步驟：

根據RGB圖像信息識別出人體頭部位置，并用矩形將其框出；

根據識別出的人體頭部位置圖像和利用深度學習網絡進行識別得到頭部姿態以及視線方向，并用坐標系的形式將其標出，同時將坐標系原點輸入到幾何參數獲取的計算中。

6.根據權利要求1所述的基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，對深度信息、稠密關鍵點信息和頭部姿態信息進行計算，并獲取坐姿幾何參數包括步驟：

將圖像攝取點正對人體，根據深度信息和稠密關鍵點信息，將二維的圖像坐標轉換成桌面坐標系下的三維坐標，得出人體關鍵點的三維坐標；

通過數學擬合將人體脊柱關鍵點的三維坐標擬合成空間線段，計算出人體脊柱的姿態參數；

根據人體頭部關鍵點的三維坐標，并結合圖像攝取點的高度，計算出人體頭部關鍵點距離桌面的實際高度。

7.根據權利要求6所述的基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，通過數學擬合將人體脊柱關鍵點的三維坐標擬合成空間線段，計算出人體脊柱的姿態參數包括：

設定n個待擬合點列{(x_i,y_i,z_i),i＝0,1,…,n}，空間直線方程為：

并利用最小二乘法計算其中的待解參數m、n、x₀、y₀，矩陣形式為：

8.根據權利要求6所述的基于RGBD圖像的坐姿幾何參數檢測方法，其特征在于，在對深度信息、稠密關鍵點信息進行計算包括：計算出人體的稠密關鍵點的三維坐標，并計算出頭部距離桌面高度和人體脊柱的三維歐拉角參數。