[發明專利]一種基于半監督的3D骨架估計方法、裝置以及設備

在審

• 申請號: 202210726497.X
• 申請日: 2022-06-24
• 公開（公告）號: CN115170730A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 李江;曲曉超;劉洛麒;劉利朋
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/08;G06T7/50
• 代理公司: 廈門仕誠聯合知識產權代理事務所(普通合伙) 35227
• 代理人: 陳蓓蓓

本發明公開了一種基于半監督的3D骨架估計方法、裝置、設備及存儲介質，其包括：獲取待處理圖像，所述待處理圖像中包括人體骨架或手部骨架；將所述待處理圖像輸入骨架估計模型中，得到與所述人體骨架或所述手部骨架對應的目標三維骨架坐標，其中，所述骨架估計模型包括通過對訓練圖像數據進行特征提取，將得到的骨架點uvd坐標、骨架點空間坐標以及隱變量相機映射圖像參數與預設的損失函數進行訓練神經網絡得到的，所述骨架點uvd坐標包括骨架點的圖像坐標以及骨架點的圖像坐標對應的深度值。能夠滿足用戶使用需求的同時，極大的節省了采集和標注3D骨架數據的成本。

技術領域

本發明涉及深度學習技術領域，尤其涉及一種基于半監督的3D骨架估計 方法、裝置以及設備。

背景技術

在目前各種人工智能的技術被廣泛使用的情況下，工業界涉及人體骨架 的相關產品也越來越多。人機交互是元宇宙的入口，而人體交互、人手交互、 人眼交互都是人機交互的潛在的交互方式，具有巨大潛在市場價值。學術研 究者也甚多。人體骨架估計和識別技術在很多家相關公司和機構都有部署研 究和落地產品，尤其是2017年開源openpose技術之后，各個國內廠家紛紛跟進， 同時隨著硬件算力的不斷進步一些公司研發出自己的3D人體骨架跟蹤技術， 以滿足市場需求。但是，目前的學者和公司機構在研發3D骨架技術上首先需 要解決數據獲取的問題。一些機構或公司會自己進行數據采集和標注，同時 開發一系列數據拍攝和標簽標準的算法，費時費力，且刺激環境的條件有限； 另一個思路是利用計算機合成大量人體3D模型去隨機生成大量數據做仿真， 這種數據與現實生活中拍攝的數據具有一定差別，算法模型的泛化能力較差。 3D數據相比于2D數據在數據采集和標注的成本和時間上開銷是相差懸殊的， 成本高昂，質量會較差，數據問題一直存在于深度學習落地項目的一個長期 伴隨的痛點問題。

發明內容

有鑒于此，本發明的目的在于提出一種基于半監督的3D骨架估計方法、 裝置以及設備，以至少解決相關技術中訓練數據的采集較難，難以滿足用戶 需求的問題。

為實現上述目的，本發明提供一種基于半監督的3D骨架估計方法，所述 方法包括：

獲取待處理圖像，所述待處理圖像中包括人體骨架或手部骨架；

將所述待處理圖像輸入骨架估計模型中，得到與所述人體骨架或所述手 部骨架對應的目標三維骨架坐標，其中，所述骨架估計模型包括通過對訓練 圖像數據進行特征提取，將得到的骨架點uvd坐標、骨架點空間坐標以及隱 變量相機映射圖像參數與預設的損失函數進行訓練神經網絡得到的，所述骨 架點uvd坐標包括骨架點的圖像坐標以及骨架點的圖像坐標對應的深度值。

優選的，所述骨架估計模型包括通過對訓練圖像數據進行特征提取，將 得到的骨架點uvd坐標、骨架點空間坐標以及隱變量相機映射圖像參數與預 設的損失函數進行訓練神經網絡得到的，包括：

根據所述預設的損失函數計算所述骨架點uvd坐標、所述骨架點空間坐 標以及所述隱變量相機映射圖像參數與預設的標簽數據的各個損失值，并將 得到的所有損失值進行加權求和反向傳播訓練所述骨架估計模型。

優選的，所述標簽數據包括三維標簽數據；所述根據所述預設的損失函 數計算所述骨架點uvd坐標、所述骨架點空間坐標以及所述隱變量相機映射 圖像參數與預設的標簽數據的各個損失值，包括：

根據所述預設的損失函數，計算所述骨架點空間坐標與所述三維標簽數 據之間的第一損失值。

優選的，所述標簽數據包括二維標簽數據；所述根據所述預設的損失函 數計算所述骨架點uvd坐標、所述骨架點空間坐標以及所述隱變量相機映射 圖像參數與預設的標簽數據的各個損失值，包括：

根據所述預設的損失函數，計算所述骨架點uvd坐標與所述二維標簽數 據的第二損失值。