[發明專利]一種基于合成數據集的三維多人物姿態估計

在審

• 申請號: 201711423282.6
• 申請日: 2017-12-25
• 公開（公告）號: CN108038465A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明中提出的一種基于合成數據集的三維多人物姿態估計，其主要內容包括：人體姿勢分層骨架、姿勢推斷和網絡構架，其過程為，先給定RGB圖像，分別估計圖像中多人物的三維姿勢，相對于它們的參考關節編碼關節位置，接著利用遮擋魯棒位置圖的特殊讀取方案將身體分解成軀干、四肢和頭部并建立矢量，讀出相應的肢體姿勢，最后通過讀取優先級和二維關節驗證的策略對三維姿勢進行推斷。本發明使用現有的單人三維數據的合成方法創建了新的帶注釋的多人數據集，不需要邊界框提取，即可預測二維和三維的關節位置，即使是復雜的多人物場景和遮擋情況，也能有效預測人物姿態；多人物姿態估計的實現將大大有利于實際場景中人物姿態的估計。

技術領域

本發明涉及姿態估計領域，尤其是涉及了一種基于合成數據集的三維多人物姿態估計。

背景技術

人體檢測及姿態估計是計算機視覺領域中進行行為識別的重要基礎和研究熱點之一。人物姿態估計具有很高的應用價值，例如，人物姿態估計系統可以從圖像中檢測出人物所在的位置，進而分析出該人物的一些附加信息(姿態、年齡、性別、表情、身份和行為等)。通過對人物姿態進行識別和估計，可以減輕分析視頻中人物姿態的工作人員的工作量，減少時間、財力和物力的花費。

人體姿態估計可以應用在智能視頻監控領域，通過分析視頻中人物所在的位置、人物的姿態、神態表情、行為以及其他身份信息，可以幫助偵查人員對人物身份做出判斷并預測其行為，若該行為為危險或有害行為，將提示警務人員進行及時制止；在智能交通領域，通過自動檢測車輛周圍各個方向的行人并估計其姿態，通過車速、車與人的距離以及行人的姿態來判斷汽車與行人是否會在某一時刻發生觸碰，如有發生觸碰的可能，則可以及時提醒駕駛員注意車輛周圍行人，及時調整車速和方向等；在人機交互領域，通過攝像頭拍攝的人物圖像，可以分析出人物的位置、姿態、行為、表情、年齡等信息，從而可以為用戶提供更加人性化、智能化的服務。然而，傳統的人物姿態估計難以處理當人物身體出現自遮擋、多人物間的互相遮擋以及其他物體對人物的遮擋的情況，其中多人物的姿態估計更是沒有多樣的數據集可以用于訓練，使得該技術難以實現有效的突破。

本發明提出了一種基于合成數據集的三維多人物姿態估計，先給定RGB圖像，分別估計圖像中多人物的三維姿勢，相對于它們的參考關節編碼關節位置，接著利用遮擋魯棒位置圖的特殊讀取方案將身體分解成軀干、四肢和頭部并建立矢量，讀出相應的肢體姿勢，最后通過讀取優先級和二維關節驗證的策略對三維姿勢進行推斷。本發明使用現有的單人三維數據的合成方法創建了新的帶注釋的多人數據集，不需要邊界框提取，即可預測二維和三維的關節位置，即使是復雜的多人物場景和遮擋情況，也能有效預測人物姿態；多人物姿態估計的實現將大大有利于實際場景中人物姿態的估計。

發明內容

針對難以處理當人物身體出現自遮擋、多人物間的互相遮擋以及其他物體對人物的遮擋等問題，本發明的目的在于提供一種基于合成數據集的三維多人物姿態估計，先給定RGB圖像，分別估計圖像中多人物的三維姿勢，相對于它們的參考關節編碼關節位置，接著利用遮擋魯棒位置圖的特殊讀取方案將身體分解成軀干、四肢和頭部并建立矢量，讀出相應的肢體姿勢，最后通過讀取優先級和二維關節驗證的策略對三維姿勢進行推斷。

為解決上述問題，本發明提供一種基于合成數據集的三維多人物姿態估計，其主要內容包括：

(一)人體姿勢分層骨架；

(二)姿勢推斷；

(三)網絡構架。