[發(fā)明專利]一種基于可視化編譯器的人物和姿勢(shì)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710103927.1
• 申請(qǐng)日: 2017-02-24
• 公開（公告）號(hào): CN106897697A
• 公開（公告）日: 2017-06-27
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及人物姿勢(shì)檢測(cè)領(lǐng)域，尤其是涉及了一種基于可視化編譯器的人物和姿勢(shì)檢測(cè)方法。

背景技術(shù)

人體動(dòng)作姿勢(shì)的檢測(cè)在視頻監(jiān)控、虛擬現(xiàn)實(shí)、人際智能交互等領(lǐng)域的廣泛應(yīng)用而成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，其可以用于公共場(chǎng)合的智能監(jiān)控和人群中危險(xiǎn)姿勢(shì)的監(jiān)控等。雖然近年來國(guó)內(nèi)人體姿勢(shì)檢測(cè)的研究取得了重要進(jìn)展，但人體姿勢(shì)的高復(fù)雜性和多變化性使得識(shí)別的精確性和高效性并沒有完全滿足相關(guān)行業(yè)的使用要求。不同的光照、視角和背景等條件會(huì)使得人體行為在姿勢(shì)和特性上產(chǎn)生差異，此外人體自遮擋、部分遮擋、人體個(gè)體差異、多人物識(shí)別等都是人體姿勢(shì)檢測(cè)復(fù)雜性在空間上的體現(xiàn)，所以人物和姿勢(shì)檢測(cè)方法需要進(jìn)一步研究。

本發(fā)明提出了一種基于可視化編譯器的人物和姿勢(shì)檢測(cè)方法，先用場(chǎng)景描述作為可視化編譯器的輸入，用標(biāo)定好的真實(shí)數(shù)據(jù)注釋來訓(xùn)練行人檢測(cè)系統(tǒng)和姿態(tài)估計(jì)系統(tǒng)，再通過合成數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)；接著使用剩余模塊和空間置信模塊這兩個(gè)基本單位來定義網(wǎng)絡(luò)，最后用姿勢(shì)網(wǎng)絡(luò)定位行人。本發(fā)明可以自動(dòng)獲得檢測(cè)的注釋、身體部位位置和分割掩碼，通過使用攝像機(jī)來對(duì)行人進(jìn)行定位，估計(jì)其姿勢(shì)并進(jìn)行活動(dòng)分析；減少了光照、遮擋等對(duì)檢測(cè)的影響，有效地提高了識(shí)別效率。

發(fā)明內(nèi)容

針對(duì)光照、遮擋等會(huì)產(chǎn)生影響的問題，本發(fā)明的目的在于提供一種基于可視化編譯器的人物和姿勢(shì)檢測(cè)方法，先用場(chǎng)景描述作為可視化編譯器的輸入，用標(biāo)定好的真實(shí)數(shù)據(jù)注釋來訓(xùn)練行人檢測(cè)系統(tǒng)和姿態(tài)估計(jì)系統(tǒng)，再通過合成數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)；接著使用剩余模塊和空間置信模塊這兩個(gè)基本單位來定義網(wǎng)絡(luò)，最后用姿勢(shì)網(wǎng)絡(luò)定位行人。

為解決上述問題，本發(fā)明提供一種基于可視化編譯器的人物和姿勢(shì)檢測(cè)方法，其主要內(nèi)容包括：

(一)場(chǎng)景描述的數(shù)據(jù)合成；

(二)通過合成數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)；

(三)采用基本塊定義網(wǎng)絡(luò)；

(四)姿勢(shì)網(wǎng)絡(luò)(Pose Net)聯(lián)合定位。

其中，所述的可視化編譯器，用于生成場(chǎng)景特定的人類檢測(cè)和姿態(tài)估計(jì)系統(tǒng)；其已知信息有：

(1)相機(jī)的內(nèi)在參數(shù)和外在參數(shù)；

(2)場(chǎng)景粗略的物理幾何布局(行走、坐著、站立)和可能被遮擋(障礙)或物理上不存在的區(qū)域(墻)的場(chǎng)景區(qū)域；

(3)場(chǎng)景各個(gè)區(qū)域行人的姿勢(shì)和方向；

與單個(gè)圖像一起，場(chǎng)景描述作為編譯器的輸入，在場(chǎng)景的有效區(qū)域中合成物理上接地和幾何上精確的人；編譯器學(xué)習(xí)區(qū)域特定模型的集合，用于人的檢測(cè)、姿態(tài)估計(jì)和分割；在推理期間，這些特定模型中的每一個(gè)區(qū)域在其對(duì)應(yīng)的區(qū)域上同時(shí)運(yùn)行。

其中，所述的場(chǎng)景描述的數(shù)據(jù)合成，需要高質(zhì)量的標(biāo)定好的真實(shí)數(shù)據(jù)注釋來訓(xùn)練行人檢測(cè)系統(tǒng)和姿態(tài)估計(jì)系統(tǒng)；無需復(fù)雜的人工手動(dòng)標(biāo)記過程，可視化編譯器使用場(chǎng)景描述模擬適用于場(chǎng)景每個(gè)區(qū)域的行人外觀，從而擴(kuò)展到大量場(chǎng)景中。

進(jìn)一步地，所述的場(chǎng)景描述，給定場(chǎng)景描述，編譯器首先生成場(chǎng)景的平面3D模型來包圍障礙物，即擬合地平面，平面壁和立方體；然后使用相機(jī)參數(shù)來考慮相機(jī)鏡頭特性(例如，廣角相機(jī)中的透視失真)和用于渲染幾何精確的人的場(chǎng)景；除了在場(chǎng)景的每個(gè)“有效行人位置”呈現(xiàn)人的外觀之外，渲染管道還可以精確地控制人類外觀的變化，如性別、高度、寬度、取向和姿態(tài)；虛擬人類數(shù)據(jù)庫(kù)包括139個(gè)不同的模型，涵蓋性別、服裝顏色和種族；編譯器可從0度到360度，也可以由任何先前的可用信息引導(dǎo)；

為了給渲染圖像中的人生成標(biāo)定好的真實(shí)數(shù)據(jù)標(biāo)記，首先使用以下標(biāo)簽將屬性關(guān)聯(lián)到每個(gè)3D虛擬模型：分割掩碼27個(gè)部分的3D位置以及用于檢測(cè)的人的中心位置；然后從3D注釋和相機(jī)投影參數(shù)自動(dòng)提取用于訓(xùn)練的2D標(biāo)簽，這個(gè)過程允許生成一致的無噪聲標(biāo)簽；此外，還可以均勻地跨越所有的外觀、方向、姿勢(shì)或位置的變化。

其中，所述的通過合成數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)，使用產(chǎn)生的場(chǎng)景特定數(shù)據(jù)，可視化編譯器產(chǎn)生深度神經(jīng)網(wǎng)絡(luò)形式的可視化程序，根據(jù)場(chǎng)景描述的規(guī)范操作訓(xùn)練；

由可視化編譯器生成的可視化程序共同完成以下任務(wù)：行人的本地化，定義其姿勢(shì)的界標(biāo)，并分割定義它們的像素；為了預(yù)測(cè)行人位置、姿態(tài)和分割掩模，網(wǎng)絡(luò)必須對(duì)行人的全貌，地標(biāo)的局部外觀以及這些部件的有效空間配置之前的模型進(jìn)行建模；為了捕獲外觀、完整的行人和當(dāng)?shù)氐貥?biāo)外觀，學(xué)習(xí)將RGB輸入映射用于行人、局部地標(biāo)和分割掩碼的精確定位的熱圖回歸問題；通過空間置信(SB)模塊學(xué)習(xí)部件位置之間的空間關(guān)系上的先驗(yàn)，空間置信模塊考慮行人、局部地標(biāo)和分割掩碼的熱圖之間的相關(guān)性；將這種可視化程序的特定實(shí)例化稱為姿勢(shì)網(wǎng)絡(luò)(Pose Net)。