[發(fā)明專(zhuān)利]家居成員識(shí)別系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811034581.5
• 申請(qǐng)日: 2018-09-04
• 公開(kāi)（公告）號(hào): CN109522782A
• 公開(kāi)（公告）日: 2019-03-26
• 發(fā)明（設(shè)計(jì)）人: 錢(qián)久超;陳俊泓;朱肖光;戴俊宇;劉佩林;應(yīng)忍冬;耿相銘;文飛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海交通大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

1.一種家居成員識(shí)別系統(tǒng)，其特征在于，包括數(shù)據(jù)輸入模塊、人臉識(shí)別模塊、成員數(shù)據(jù)采集模塊、家庭成員識(shí)別模塊、成員數(shù)據(jù)更新模塊，其中，

所述數(shù)據(jù)輸入模塊包括若干個(gè)攝像頭采集模塊和與所述攝像頭采集模塊連接的樹(shù)莓派傳輸模塊，用于采集室內(nèi)視頻和實(shí)現(xiàn)分布式視頻流傳輸，同時(shí)還用于分布式調(diào)用別的智能設(shè)備；

所述人臉識(shí)別模塊與所述數(shù)據(jù)輸入模塊相連，用于通過(guò)與預(yù)先存儲(chǔ)的家居成員的臉部信息比較，確定采集人的身份；

所述成員數(shù)據(jù)采集模塊分別與所述數(shù)據(jù)輸入模塊和人臉識(shí)別模塊相連，用于實(shí)現(xiàn)視頻幀中家居成員的截取，通過(guò)人臉識(shí)別模塊輸出的身份信息為做家居成員的身份注明；

所述家庭成員識(shí)別模塊分別與所述數(shù)據(jù)輸入模塊和成員數(shù)據(jù)采集模塊相連，所述家庭成員識(shí)別模塊用于室內(nèi)場(chǎng)景內(nèi)的家居成員的檢測(cè)與識(shí)別；

所述成員數(shù)據(jù)更新模塊分別與數(shù)據(jù)輸入模塊和家庭成員識(shí)別模塊連接，用于通過(guò)識(shí)別結(jié)果與邏輯判斷，實(shí)現(xiàn)室內(nèi)活動(dòng)時(shí)家居成員的信息更新。

2.如權(quán)利要求1所述的家居成員識(shí)別系統(tǒng)，其特征在于，所述家庭成員識(shí)別模塊，用于按照一定間隔抽取視頻幀，檢測(cè)視頻幀畫(huà)面中包含的家居成員，同時(shí)提取視頻幀畫(huà)面中家居成員的特征描述子并利用相同的提特征網(wǎng)絡(luò)提取所述成員數(shù)據(jù)采集模塊輸出的特征，將所述成員數(shù)據(jù)采集模塊輸出的特征分別與視頻幀畫(huà)面中家居成員中提取的家居成員的特征描述子做相似度比較，若大于預(yù)設(shè)閾值，則判定為同一個(gè)人。

3.如權(quán)利要求2所述的家居成員識(shí)別系統(tǒng)，其特征在于，所述家庭成員識(shí)別模塊，用于實(shí)時(shí)輸出家居成員的身份及視頻幀畫(huà)面中的像素坐標(biāo)，作為關(guān)于行為人分析的基礎(chǔ)。

4.如權(quán)利要求1所述的家居成員識(shí)別系統(tǒng)，其特征在于，所述的人臉識(shí)別模塊包含庫(kù)中人臉處理模塊、人臉檢測(cè)處理模塊、相似度比對(duì)模塊和人臉識(shí)別輸出模塊，其中，

所述人臉檢測(cè)處理模塊，用于將樹(shù)莓派傳輸模塊送來(lái)的數(shù)據(jù)進(jìn)行人臉關(guān)鍵點(diǎn)定位檢測(cè)與特征編碼，與庫(kù)中人臉處理模塊得到的庫(kù)中人臉特征編碼進(jìn)行比對(duì)，若在相似度比對(duì)模塊中判定為相同身份，則將身份信息輸送至人臉識(shí)別輸出模塊。

5.如權(quán)利要求1所述的家居成員識(shí)別系統(tǒng)，其特征在于，所述的成員數(shù)據(jù)采集模塊包含成員檢測(cè)模塊和成員全身信息采集輸出模塊，

其中，成員檢測(cè)模塊，用于將畫(huà)面中出現(xiàn)的家居成員用矩形框框出；而成員全身信息采集輸出模塊，用于根據(jù)矩形框位置和大小裁剪出家居成員全身圖片并作為特征向量輸出。

6.如權(quán)利要求1所述的家居成員識(shí)別系統(tǒng)，其特征在于，所述的家庭成員識(shí)別模塊包含行人檢測(cè)模塊、特征提取模塊、度量計(jì)算模塊和成員識(shí)別輸出模塊，其中，

所述行人檢測(cè)模塊，用于將一定時(shí)間間隔后的視頻幀中的成員框出，特征提取模塊，用于輸出已框出家居成員的特征向量，同時(shí)也獲取家居成員全身信息采集輸出模塊的特征向量，兩者進(jìn)行余弦距離計(jì)算相似度，相似度小于既定閾值則判定為某一家居成員，同時(shí)還輸出對(duì)應(yīng)的像素坐標(biāo)。

7.如權(quán)利要求1所述的家居成員識(shí)別系統(tǒng)，其特征在于，所述成員數(shù)據(jù)更新模塊，用于當(dāng)識(shí)別中輸出的坐標(biāo)在一定時(shí)間內(nèi)保持不變，而后續(xù)時(shí)間中相鄰坐標(biāo)有家居成員出現(xiàn)，但不再是相同ID或者甚至無(wú)法識(shí)別時(shí)，將再次捕捉此變化較大的家居成員信息，實(shí)時(shí)更新家居成員全身信息庫(kù)；或者，用于根據(jù)邏輯判斷私密空間內(nèi)僅有一名成員，那么走出此私密空間的成員即使變化較大也必定仍是先前進(jìn)入的成員，此時(shí)實(shí)時(shí)更新家庭成員全身信息庫(kù)。

8.如權(quán)利要求1所述的家居成員識(shí)別系統(tǒng)，其特征在于，所述行人檢測(cè)模塊，用于通過(guò)不同尺度和大小的子區(qū)域分別為前景和背景的得分，實(shí)現(xiàn)前背景的分類(lèi)與區(qū)域坐標(biāo)的回歸校正，其中，所述前景為家居成員的圖像；

所述特征提取模塊，用于通過(guò)將所述行人檢測(cè)模塊中判定為行人的回歸框映射至卷積層，以便取得的特征，再輸入至全連接層，全連接層將數(shù)據(jù)降維，作為最終提取的特征描述子。