[發明專利]一種基于視覺獲取行人的消費肖像的方法及裝置

在審

• 申請號: 202010764394.3
• 申請日: 2020-08-02
• 公開（公告）號: CN112101093A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 周祥宇
• 申請（專利權）人: 上海首步信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06Q30/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于視覺獲取行人的消費肖像的方法，其特征在于，包含以下步驟：

對監控攝像頭采集到的視頻流進行移動檢測得到移動點、并耦合移動點得到至少一個獨立移動圖塊；

從所述獨立移動圖塊中選取面積最大的獨立移動圖塊為目標圖塊，并對目標圖塊作人體姿勢關鍵點檢測；

根據檢測到的人體姿勢關鍵點信息：

（1）從與行人頭部對應的鼻子、左眼、右眼、左耳、右耳、頸部關鍵點中選取至少三點所構成的面積最大的凸多邊形的各邊向外延展第一預設冗余長度來從當前幀圖像中截取該行人的頭部截圖；

（2）從與行人上身對應的頸部、左肩、右肩、左肘、右肘、左腕、右腕、左腰、右腰關鍵點中選取至少三點所構成的面積最大的凸多邊形的各邊向外延展第二預設冗余長度來從當前幀圖像中截取該行人的上身截圖；

（3）從與行人腿部對應的左腰、右腰、左膝、右膝、左踝、右踝關鍵點中選取至少三點所構成的面積最大的凸多邊形的各邊向外延展第三預設冗余長度來從當前幀圖像中截取該行人的腿部截圖；

（4）以與行人腳部對應的左踝和右踝兩關鍵點的連線線段的中點作為圓心、左踝和右踝兩關鍵點之間的距離作為半徑來從當前幀圖像中截取一個圓形的該行人的腳部截圖；

對所述頭部截圖進行人臉屬性識別得到包含了行人的性別、所屬年齡階段、是/否佩戴眼鏡、是/否笑的信息在內的人臉屬性集；

分別對所述上身截圖、腿部截圖、腳部截圖進行服飾分割得到目標上身服飾圖、目標腿部服飾圖、目標腳部服飾圖；

不分先后順序地：

（1）以目標上身服飾圖來對上身服飾圖庫進行視覺搜索，選取上身服飾圖庫中與目標上身服飾圖的相似程度值大于預設相似程度閾值的上身服飾近似圖，并以各上身服飾近似圖的圖片ID與其對應的相似程度值關聯組成上身圖片ID-相似程度值數據對，由所有的上身圖片ID-相似程度值數據對構成上身匹配數據集；

（2）以目標腿部服飾圖來對腿部服飾圖庫進行視覺搜索，選取腿部服飾圖庫中與目標腿部服飾圖的相似程度值大于預設相似程度閾值的腿部服飾近似圖，并以各腿部服飾近似圖的圖片ID與其對應的相似程度值關聯組成腿部圖片ID-相似程度值數據對，由所有的腿部圖片ID-相似程度值數據對構成腿部匹配數據集；

（3）以目標腳部服飾圖來對腳部服飾圖庫進行視覺搜索，選取腳部服飾圖庫中與目標腳部服飾圖的相似程度值大于預設相似程度閾值的腳部服飾近似圖，并以各腳部服飾近似圖的圖片ID與其對應的相似程度值關聯組成腳部圖片ID-相似程度值數據對，由所有的腳部圖片ID-相似程度值數據對構成腳部匹配數據集；

不分先后順序地：

（1）以上身匹配數據集中的各數據對的圖片ID來檢索預存的圖片ID-屬性數據庫：檢索得到各圖片ID對應的至少一個上身屬性，上身匹配數據集中的至少一個數據對的圖片ID檢索到同一上身屬性，上身屬性被檢索到它的至少一個圖片ID所屬數據對中最大的相似程度值標記，檢索得到的所有上身屬性在被相似程度值標記后構成上身屬性集；

（2）以腿部匹配數據集中的各數據對的圖片ID來檢索預存的圖片ID-屬性數據庫：檢索得到各圖片ID對應的至少一個腿部屬性，腿部匹配數據集中的至少一個數據對的圖片ID檢索到同一腿部屬性，腿部屬性被檢索到它的至少一個圖片ID所屬數據對中最大的相似程度值標記，檢索得到的所有腿部屬性在被相似程度值標記后構成腿部屬性集；

（3）以腳部匹配數據集中的各數據對的圖片ID來檢索預存的圖片ID-屬性數據庫：檢索得到各圖片ID對應的至少一個腳部屬性，腳部匹配數據集中的至少一個數據對的圖片ID檢索到同一腳部屬性，腳部屬性被檢索到它的至少一個圖片ID所屬數據對中最大的相似程度值標記，檢索得到的所有腳部屬性在被相似程度值標記后構成腳部屬性集；

融合人臉屬性集、上身屬性集、腿部屬性集、腳部屬性集得到行人的消費肖像。

2.根據權利要求1所述的一種基于視覺獲取行人的消費肖像的方法，其特征在于，其中所述移動檢測采用幀差法、光流法的一種：

（1）其中在采用幀差法的情況下，將當前幀圖像中相對于前幀圖像的亮度變化差值的絕對值大于預設亮度變化閾值的像素點判定為移動點；

（2）其中在采用光流法的情況下，將當前幀圖像中相對于前幀圖像的移動距離超過預設像素距離閾值的像素點判定為移動點。