[發明專利]一種基于可視化編譯器的人物和姿勢檢測方法

在審

• 申請號: 201710103927.1
• 申請日: 2017-02-24
• 公開（公告）號: CN106897697A
• 公開（公告）日: 2017-06-27
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于可視化編譯器的人物和姿勢檢測方法，其特征在于，主要包括場景描述的數據合成(一)；通過合成數據學習網絡(二)；采用基本塊定義網絡(三)；姿勢網絡(Pose Net)聯合定位(四)。

2.基于權利要求書1所述的可視化編譯器，其特征在于，用于生成場景特定的人類檢測和姿態估計系統；其已知信息有：

(1)相機的內在參數和外在參數；

(2)場景粗略的物理幾何布局(行走、坐著、站立)和可能被遮擋(障礙)或物理上不存在的區域(墻)的場景區域；

(3)場景各個區域行人的姿勢和方向；

與單個圖像一起，場景描述作為編譯器的輸入，在場景的有效區域中合成物理上接地和幾何上精確的人；編譯器學習區域特定模型的集合，用于人的檢測、姿態估計和分割；在推理期間，這些特定模型中的每一個區域在其對應的區域上同時運行。

3.基于權利要求書1所述的場景描述的數據合成(一)，其特征在于，需要高質量的標定好的真實數據注釋來訓練行人檢測系統和姿態估計系統；無需復雜的人工手動標記過程，可視化編譯器使用場景描述模擬適用于場景每個區域的行人外觀，從而擴展到大量場景中。

4.基于權利要求書3所述的場景描述，其特征在于，給定場景描述，編譯器首先生成場景的平面3D模型來包圍障礙物，即擬合地平面，平面壁和立方體；然后使用相機參數來考慮相機鏡頭特性(例如，廣角相機中的透視失真)和用于渲染幾何精確的人的場景；除了在場景的每個“有效行人位置”呈現人的外觀之外，渲染管道還可以精確地控制人類外觀的變化，如性別、高度、寬度、取向和姿態；虛擬人類數據庫包括139個不同的模型，涵蓋性別、服裝顏色和種族；編譯器可從0度到360度，也可以由任何先前的可用信息引導；

為了給渲染圖像中的人生成標定好的真實數據標記，首先使用以下標簽將屬性關聯到每個3D虛擬模型：分割掩碼27個部分的3D位置以及用于檢測的人的中心位置；然后從3D注釋和相機投影參數自動提取用于訓練的2D標簽，這個過程允許生成一致的無噪聲標簽；此外，還可以均勻地跨越所有的外觀、方向、姿勢或位置的變化。

5.基于權利要求書1所述的通過合成數據學習網絡(二)，其特征在于，使用產生的場景特定數據，可視化編譯器產生深度神經網絡形式的可視化程序，根據場景描述的規范操作訓練；

由可視化編譯器生成的可視化程序共同完成以下任務：行人的本地化，定義其姿勢的界標，并分割定義它們的像素；為了預測行人位置、姿態和分割掩模，網絡必須對行人的全貌，地標的局部外觀以及這些部件的有效空間配置之前的模型進行建模；為了捕獲外觀、完整的行人和當地地標外觀，學習將RGB輸入映射用于行人、局部地標和分割掩碼的精確定位的熱圖回歸問題；通過空間置信(SB)模塊學習部件位置之間的空間關系上的先驗，空間置信模塊考慮行人、局部地標和分割掩碼的熱圖之間的相關性；將這種可視化程序的特定實例化稱為姿勢網絡(Pose Net)。

6.基于權利要求書5所述的人體姿態估計系統，其特征在于，通常將檢測和姿態估計視為獨立和順序任務，檢測之后是姿態估計；這些系統或者預期標定好的真實數據人類檢測，或者使用現成的檢測器進行粗略檢測；然而，檢測和部件定位是高度相互依賴的過程；檢測可以極大地影響姿態估計過程，部件的精確定位用于增強人在相應位置處的存在置信；因此，姿勢網絡模型耦合這些任務，提高行人檢測和姿態估計的效率。

7.基于權利要求書1所述的采用基本塊定義網絡(三)，其特征在于，使用剩余模塊和空間置信模塊這兩個基本單位來定義網絡；引入剩余單元解決訓練深度卷積網絡中消失梯度的問題；采用這個基本單元為網絡，并建立它來定義空間置信(SB)模塊。