[發(fā)明專利]一種筆劃交互式的人體骨架重建技術(shù)

在審

• 申請?zhí)枺?/td>: 202110492691.1
• 申請日: 2021-05-07
• 公開（公告）號: CN115311406A
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 周世哲;蔡偉;孔睿琦
• 申請（專利權(quán)）人: 湖南大學(xué)
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06T13/40;G06T7/13
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種筆劃交互式的人體骨架重建技術(shù)。首先，從骨骼圖中找到人體骨骼的頸部的關(guān)節(jié)點，然后，將根據(jù)距離和方向信息在預(yù)處理的輸入圖像上定位其他關(guān)鍵關(guān)節(jié)點。之后，將根據(jù)標(biāo)準(zhǔn)人體骨骼的比例和角度運動范圍來校正圖像中的骨骼結(jié)構(gòu)誤差。最后，還提供了生成可能的3D骨骼關(guān)節(jié)點的功能。該技術(shù)使用戶能夠以簡單、直觀、快速的方式獲取人體骨架草圖，而不存在明顯的結(jié)構(gòu)誤差。生成的二維圖像可以作為用戶的繪圖參考，而三維坐標(biāo)可以用于模型和動畫等相關(guān)的領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明提出了一種筆劃交互的骨骼校正技術(shù)，并將其用于圖像中人體骨骼的校正，屬于骨架重建領(lǐng)域。并且通過圖像生成對應(yīng)的二維骨架模型可以應(yīng)用于2D動畫、游戲等領(lǐng)域。骨骼動畫可以很容易地控制人體模特的姿勢和動作，從而降低創(chuàng)作成本。

背景技術(shù)

對于非專業(yè)的創(chuàng)作者來說，創(chuàng)造一個沒有缺點的人體骨架圖像是一個挑戰(zhàn)。在初學(xué)者的作品中，經(jīng)常會出現(xiàn)比例和結(jié)構(gòu)上的錯誤，如上肢過長、肘部角度不合理等。雖然這些問題可以通過搜索具有相似姿勢的人體圖片作為參考來解決，但通常需要花費大量的時間來搜索，并且搜索結(jié)果可能并不令人滿意。

人體姿態(tài)識別與糾正技術(shù)隨著游戲、人機(jī)交互、監(jiān)控、可視化等領(lǐng)域的需求增長而得以不斷更新：單張、多張靜態(tài)圖像均可以不同程度地恢復(fù)人體的姿勢，利用視頻序列也可以進(jìn)行姿態(tài)估計，高速深度相機(jī)的出現(xiàn)則使得人體姿態(tài)識別的結(jié)果更為精確、健壯；對于所得的姿態(tài)，憑借豐富的樣本可以一定程度上糾正由于雜亂背景、自遮擋等問題造成的錯誤。這些技術(shù)與方法對于手繪人體骨架草圖的關(guān)節(jié)估計與糾正具有一定參考價值，然而輸入圖像極其有限的信息導(dǎo)致許多方法無法被應(yīng)用。

本發(fā)明提出了一種校正圖像中人體骨骼的技術(shù)，首先要識別圖像中人體的關(guān)節(jié)點，而識別步驟之前，通常會對源圖像進(jìn)行骨架化處理。然后對從圖像中獲取人體骨架的進(jìn)行校正。本發(fā)明依賴的相關(guān)技術(shù)介紹如下：

(1)圖像骨架化處理

骨架化的方法通常可以分為兩類：細(xì)化和距離變換。細(xì)化算法會迭代刪除圖形邊緣上的連續(xù)像素層，直到只剩下骨骼。單個像素的刪除由附近像素決定。這種方法可以保持原始圖形的拓?fù)浣Y(jié)構(gòu)，而不能保證骨骼的連續(xù)性和平滑性。因此，生成的結(jié)果通常需要進(jìn)一步的處理。而通過距離轉(zhuǎn)換，二進(jìn)制圖像將被轉(zhuǎn)換為一張新圖像，其中每個目標(biāo)像素的值都與距背景的最小距離相匹配。通常，基于距離變換的算法可以獲取精確的骨架結(jié)構(gòu)，但不能確保連通性。快速的歐幾里得距離變換算法從外到內(nèi)計算出人體輪廓的歐幾里得距離圖，但它無法獲取骨骼的關(guān)節(jié)點。另一種方法可以從身體輪廓圖像中提取帶有關(guān)節(jié)的骨骼，但是它需要額外的信息，即四肢的寬度。

(2)骨骼關(guān)節(jié)點識別

要識別靜態(tài)圖像中關(guān)節(jié)的位置，通常需要使用標(biāo)準(zhǔn)人體骨骼模型作為參考，該模型可以指示搜索關(guān)節(jié)的方向。并且通常將關(guān)節(jié)點分為顯示、隱式關(guān)節(jié)兩種，并采取不同的方式來確定。

(3)人體骨架校正

從靜態(tài)圖像中恢復(fù)身體姿勢的主流方法通常可以分為三種：基于匹配的方法，基于身體部位的方法和基于模型的方法。

對于基于匹配的方法，可以通過比較測試圖像和較大的標(biāo)記數(shù)據(jù)集來獲取姿勢。通常需要人體特征和形狀背景。為了進(jìn)行訓(xùn)練，此方法需要包含身體姿勢數(shù)據(jù)的數(shù)據(jù)集，這些數(shù)據(jù)具有豐富的姿勢類型，背景和個人信息。除非對圖像進(jìn)行了專門的細(xì)化，否則該技術(shù)無法從背景雜亂的圖像中獲得準(zhǔn)確的結(jié)果。基于身體部位的方法克服了基于匹配算法的局限性，這些方法首先嘗試識別人的每個身體部位，例如面部，軀干和四肢。然后根據(jù)預(yù)定義的結(jié)構(gòu)約束估計最佳組合。與基于匹配的方法相比，該技術(shù)所需的數(shù)據(jù)集更少，并且對姿勢的類型不敏感。結(jié)果取決于身體部位檢測器，但是該方法只能處理具有特定服裝樣式的身體圖像。

而基于模型的方法通常可以獲取準(zhǔn)確的姿勢，并且不依賴于身體部位檢測器。該方法首先通過修改人體模型的參數(shù)來生成大量姿勢，然后最小化假設(shè)姿勢與源圖像之間的投影誤差。

發(fā)明內(nèi)容