[發明專利]一種基于時空掩碼重建的骨架檢測模型的構建方法

在審

• 申請號: 202310111117.6
• 申請日: 2023-01-30
• 公開（公告）號: CN116071499A
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 項樂宏;王翀;夏銀水;李裕麒;戴鑫淼
• 申請（專利權）人: 樂歌人體工學科技股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/774;G06V40/10;G06V10/82
• 代理公司: 浙江中桓凱通專利代理有限公司 33376
• 代理人: 劉瀟

1.一種基于時空掩碼重建的骨架檢測模型的構建方法，其特征在于，所述構建方法包括：

S100：獲取被打標簽的t張訓練圖像，對t張所述訓練圖像進行的所述打標簽是指，將每張所述訓練圖像的人體骨架關鍵點坐標和每張所述訓練圖像建立對應關系，t張所述訓練圖像可組成連續的t幀訓練視頻；

S200：訓練網絡將t張所述訓練圖像劃分為多個時空立方體，并對部分所述時空立方體進行遮掩，獲取多個未遮掩時空立方體，并記錄多個所述未遮掩時空立方體對應的正確位置，對部分所述時空立方體進行遮掩是指，忽略被遮掩的部分所述時空立方體的信息；

S300：將多個所述未遮掩時空立方體輸入編碼器，獲取多個低維度的特征表示；

S400：將多個所述低維度的特征表示和多個所述正確位置輸入解碼器，獲取高維度的t幅訓練熱力圖；

S500：將所述標簽轉化為t幅正確熱力圖，計算t幅所述訓練熱力圖和t幅所述正確熱力圖的損失；

S600：根據所述損失優化所述訓練網絡的參數；

S700：獲取多個帶有標簽的t張所述訓練圖像，循環所述S200至所述S600的步驟，迭代至損失收斂，完成訓練，將所述訓練網絡的參數固定，由此構建骨架檢測模型；

其中，t為大于或等于2的整數。

2.根據權利要求1所述的構建方法，其特征在于，在所述S100之前，還包括：

獲取帶有標簽的訓練視頻，從所述訓練視頻中抽取t張所述訓練圖像，對所述訓練視頻打標簽是指，將所述訓練視頻中每幀的人體骨架關鍵點坐標和所述訓練視頻的每幀建立對應關系。

3.根據權利要求1所述的構建方法，其特征在于，所述訓練圖像為RGB圖像；或，所述訓練圖像為深度圖像。

4.根據權利要求1所述的構建方法，其特征在于，t張所述訓練圖像包括H×W×t個像素；

其中，H為每張所述訓練圖像的高度，W為每張所述訓練圖像的寬度，t為所述訓練圖像的數量。

5.根據權利要求1至4中任一項所述的構建方法，其特征在于，所述編碼器和所述解碼器均為Vision?Transformer網絡結構。

6.根據權利要求5所述的構建方法，其特征在于，所述編碼器包括編碼器全連接層和Transformer?blocks，所述S300包括：

將多個所述未遮掩時空立方體輸入所述編碼器全連接層進行線性映射后，再輸入所述Transformer?blocks中，得到多個所述特征表示。

7.根據權利要求6所述的構建方法，其特征在于，所述解碼器包括解碼器全連接層和reshape，所述S400包括：

將多個所述低維度的特征表示和多個所述正確位置輸入所述解碼器全連接層進行線性映射后，再輸入所述reshape中，得到所述t幅訓練熱力圖。