[發(fā)明專利]一種基于計(jì)算機(jī)視覺的巡邏機(jī)器人和安防系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110223215.X
• 申請(qǐng)日: 2021-03-03
• 公開（公告）號(hào): CN112911156B
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 胡德斌
• 申請(qǐng)（專利權(quán)）人: 蘇州維眾數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): H04N23/60
• 分類號(hào): H04N23/60;H04N7/18;G06V20/40;G07C1/20
• 代理公司: 蘇州久元知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32446
• 代理人: 袁欣琪

1.一種基于計(jì)算機(jī)視覺的安防系統(tǒng)，其特征在于，所述安防系統(tǒng)包括：巡邏機(jī)器人、安防服務(wù)器以及多個(gè)監(jiān)控?cái)z像頭；

所述機(jī)器人包括：處理模塊、通信模塊、拍攝模塊、驅(qū)動(dòng)模塊以及告警模塊；

當(dāng)所述巡邏機(jī)器人處于巡邏狀態(tài)期間，所述處理模塊用于控制所述驅(qū)動(dòng)模塊，使所述驅(qū)動(dòng)模塊將所述巡邏機(jī)器人行駛至幼兒園的監(jiān)控?cái)z像頭的監(jiān)控盲區(qū)；

所述處理模塊還用于通過所述通信模塊接收所述幼兒園的安防服務(wù)器所發(fā)送的第一拍攝指令，所述第一拍攝指令是在以下情況下生成的：所述安防服務(wù)器判斷出所述巡邏機(jī)器人行駛出所述監(jiān)控?cái)z像頭的監(jiān)控范圍后，所述安防服務(wù)器生成所述第一拍攝指令；

所述處理模塊響應(yīng)于所述第一拍攝指令，控制所述拍攝模塊開始拍攝巡邏視頻，并控制所述通信模塊將所述巡邏視頻傳輸給所述安防服務(wù)器；

巡邏機(jī)器人中還預(yù)設(shè)有人臉識(shí)別算法，以及預(yù)設(shè)了幼兒園各個(gè)工作人員的人臉特征向量；巡邏機(jī)器人在檢測(cè)到人像時(shí)，可以調(diào)用人臉識(shí)別算法，計(jì)算人像的人臉特征向量；并將計(jì)算出的人臉特征向量，與幼兒園各個(gè)工作人員的人臉特征向量進(jìn)行一一比較，從而判斷檢測(cè)到的人像是否屬于幼兒園的一個(gè)工作人員；

所述處理模塊還用于從所述巡邏視頻中獲取多個(gè)視頻幀，并針對(duì)獲取的每個(gè)視頻幀進(jìn)行人像檢測(cè)，以及在檢測(cè)到人像的情況下，對(duì)人像進(jìn)行人臉識(shí)別操作，以判斷視頻幀中的人像是否屬于所述幼兒園的工作人員；

在視頻幀中的人像不屬于所述幼兒園的工作人員的情況下，所述處理模塊控制所述告警模塊發(fā)出第一類告警，以對(duì)不明身份的人員進(jìn)行驅(qū)離；

在從視頻幀中檢測(cè)到人像，但是每個(gè)視頻幀中的人像均人臉識(shí)別失敗的情況下，所述處理模塊控制所述告警模塊發(fā)出第二類告警，以提示監(jiān)控盲區(qū)的人員主動(dòng)面向所述巡邏機(jī)器人，以輔助所述巡邏機(jī)器人進(jìn)行人臉識(shí)別；

所述處理模塊中預(yù)先配置了多個(gè)監(jiān)控盲區(qū)，在所述巡邏機(jī)器人處于巡邏狀態(tài)期間，所述處理模塊控制所述驅(qū)動(dòng)模塊按照預(yù)設(shè)順序，將所述巡邏機(jī)器人依次行駛至各個(gè)監(jiān)控盲區(qū)，依次對(duì)各個(gè)監(jiān)控盲區(qū)進(jìn)行巡邏；巡邏機(jī)器人中預(yù)先配置了幼兒園的電子地圖，電子地圖中標(biāo)記了每個(gè)監(jiān)控盲區(qū)的位置；巡邏機(jī)器人通過導(dǎo)航技術(shù)，依次前往電子地圖中的每個(gè)監(jiān)控盲區(qū)；

安防服務(wù)器預(yù)先訓(xùn)練了一個(gè)機(jī)器人檢測(cè)模型，該機(jī)器人檢測(cè)模型專門用于檢測(cè)圖像中的巡邏機(jī)器人；

該機(jī)器人檢測(cè)模型的訓(xùn)練方式如下：搜集多張包含有巡邏機(jī)器人的樣本圖像，在每張樣本圖像中標(biāo)記出巡邏機(jī)器人的位置，將每張樣本圖像和巡邏機(jī)器人的位置信息輸入預(yù)設(shè)模型中，從而對(duì)預(yù)設(shè)模型進(jìn)行訓(xùn)練；最后，將訓(xùn)練完成的預(yù)設(shè)模型確定為機(jī)器人檢測(cè)模型，專門用于檢測(cè)圖像中的巡邏機(jī)器人；巡邏機(jī)器人的處理模塊在從巡邏視頻中獲取到每個(gè)視頻幀后，將視頻幀輸入預(yù)先訓(xùn)練的人像檢測(cè)模型，從而檢測(cè)該視頻幀中是否包含人像；

所述處理模塊還用于通過所述通信模塊接收跟蹤指令，所述跟蹤指令是在以下情況下生成的：所述幼兒園的任一監(jiān)控?cái)z像頭拍攝到人像，且所述安防服務(wù)器確定該人像不屬于所述幼兒園的工作人員時(shí)，所述安防服務(wù)器生成所述跟蹤指令，所述跟蹤指令攜帶該監(jiān)控?cái)z像頭的編號(hào)和所述人像的特征向量；

所述處理模塊響應(yīng)于所述跟蹤指令，從巡邏狀態(tài)切換為跟蹤狀態(tài)，并根據(jù)跟蹤指令攜帶的監(jiān)控?cái)z像頭編號(hào)，控制所述驅(qū)動(dòng)模塊，將所述巡邏機(jī)器人行駛至相應(yīng)的監(jiān)控?cái)z像頭；巡邏機(jī)器人的處理模塊接收到安防服務(wù)器發(fā)送的跟蹤指令后，從巡邏狀態(tài)切換至跟蹤狀態(tài)；切換至跟蹤狀態(tài)后的巡邏機(jī)器人，將暫時(shí)不再對(duì)各個(gè)監(jiān)控盲區(qū)一一進(jìn)行巡邏；

與此同時(shí)，幼兒園的各個(gè)監(jiān)控?cái)z像頭持續(xù)拍攝監(jiān)控視頻，安防服務(wù)器每隔預(yù)設(shè)時(shí)間,從各監(jiān)控?cái)z像頭正在顯示的監(jiān)控視頻中提取一個(gè)視頻幀；并將每個(gè)視頻幀輸入機(jī)器人檢測(cè)模型，從而通過機(jī)器人檢測(cè)模型檢測(cè)每個(gè)視頻幀中是否包含巡邏機(jī)器人；如果某一個(gè)視頻幀中包含巡邏機(jī)器人，則安防服務(wù)器進(jìn)一步將該視頻幀輸入人像檢測(cè)模型，從而通過人像檢測(cè)模型檢測(cè)該視頻幀中是否包含人像；如果該視頻幀中包含人像，則剪裁出人像所在區(qū)域，并對(duì)剪裁出的區(qū)域進(jìn)行卷積和池化，從而得到人像的特征向量；最后將得到的特征向量與需要被跟蹤的人像的特征向量進(jìn)行相似性比較，如果兩者的相似性達(dá)到預(yù)設(shè)條件，則確定視頻幀中的人像為需要被跟蹤的人像；從而進(jìn)一步確定出：巡邏機(jī)器人和需要被跟蹤的人已經(jīng)同處于一個(gè)監(jiān)控?cái)z像頭的監(jiān)控范圍內(nèi)；

其中，在比較兩個(gè)特征向量的相似性時(shí)，可以計(jì)算兩個(gè)特征向量之間的向量距離；如果兩個(gè)特征向量之間的向量距離低于預(yù)設(shè)閾值，則確定視頻幀中的人像為需要被跟蹤的人像；

所述處理模塊通過所述通信模塊接收所述安防服務(wù)器發(fā)送的第二拍攝指令，所述第二拍攝指令是在以下情況下生成的：所述安防服務(wù)器判斷出所述巡邏機(jī)器人行駛至人像所在的監(jiān)控范圍后，所述安防服務(wù)器生成所述第二拍攝指令；

所述處理模塊響應(yīng)于所述第二拍攝指令，控制所述拍攝模塊開始拍攝跟蹤視頻，并從所述跟蹤視頻中獲取視頻幀，以及對(duì)獲取的視頻幀進(jìn)行人像檢測(cè)；

在檢測(cè)到人像的情況下，確定人像的特征向量，并將該特征向量與跟蹤指令中的特征向量進(jìn)行相似性對(duì)比，如果相似性超過預(yù)設(shè)閾值，則對(duì)該人像進(jìn)行跟蹤；

所述處理模塊還用于通過所述通信模塊接收所述安防服務(wù)器發(fā)送的狀態(tài)切換指令，所述狀態(tài)切換指令是所述安防服務(wù)器在以下情況下生成的：所述安防服務(wù)器判斷出所述被跟蹤的人像離開所述幼兒園出口的監(jiān)控?cái)z像頭的監(jiān)控范圍之后，生成所述狀態(tài)切換指令；

所述處理模塊響應(yīng)于所述狀態(tài)切換指令，從跟蹤狀態(tài)切換為巡邏狀態(tài)，并針對(duì)上一次巡邏狀態(tài)期間即將巡邏的監(jiān)控盲區(qū)繼續(xù)進(jìn)行巡邏；

所述監(jiān)控?cái)z像頭與所述安防服務(wù)器通信連接，用于將拍攝的監(jiān)控視頻發(fā)送給所述安防服務(wù)器；

所述安防服務(wù)器針對(duì)每個(gè)監(jiān)控?cái)z像頭，根據(jù)該監(jiān)控?cái)z像頭發(fā)送的監(jiān)控視頻，檢測(cè)該監(jiān)控視頻中是否包含所述巡邏機(jī)器人的圖像，如果不包含，則確定所述巡邏機(jī)器人行駛出該監(jiān)控?cái)z像頭的監(jiān)控范圍；

所述安防服務(wù)器判斷出所述巡邏機(jī)器人行駛出所有監(jiān)控?cái)z像頭的監(jiān)控范圍后，所述安防服務(wù)器生成所述第一拍攝指令，并將所述第一拍攝指令發(fā)送給所述巡邏機(jī)器人；

所述巡邏機(jī)器人響應(yīng)于所述第一拍攝指令，開始拍攝巡邏視頻，并將拍攝的巡邏視頻發(fā)送給所述安防服務(wù)器；

所述巡邏機(jī)器人還從所述巡邏視頻中獲取多個(gè)視頻幀，并針對(duì)獲取的每個(gè)視頻幀進(jìn)行人像檢測(cè)，以及在檢測(cè)到人像的情況下，對(duì)人像進(jìn)行人臉識(shí)別操作，以判斷視頻幀中的人像是否屬于所述幼兒園的工作人員；

在視頻幀中的人像不屬于所述幼兒園的工作人員的情況下，所述巡邏機(jī)器人發(fā)出第一類告警，以對(duì)不明身份的人員進(jìn)行驅(qū)離；

在從視頻幀中檢測(cè)到人像，但是每個(gè)視頻幀中的人像均人臉識(shí)別失敗的情況下，所述巡邏機(jī)器人發(fā)出第二類告警，以提示監(jiān)控盲區(qū)的人員主動(dòng)面向所述巡邏機(jī)器人，以輔助所述巡邏機(jī)器人進(jìn)行人臉識(shí)別；

所述巡邏機(jī)器人中預(yù)先配置了多個(gè)監(jiān)控盲區(qū)，在所述巡邏機(jī)器人處于巡邏狀態(tài)期間，所述巡邏機(jī)器人按照預(yù)設(shè)順序，依次行駛至各個(gè)監(jiān)控盲區(qū)，依次對(duì)各個(gè)監(jiān)控盲區(qū)進(jìn)行巡邏；

在所述幼兒園的任一監(jiān)控?cái)z像頭拍攝到人像，且所述安防服務(wù)器確定該人像不屬于所述幼兒園的工作人員時(shí)，所述安防服務(wù)器生成跟蹤指令，并將所述跟蹤指令發(fā)送給所述巡邏機(jī)器人，所述跟蹤指令攜帶該監(jiān)控?cái)z像頭的編號(hào)和所述人像的特征向量；

所述巡邏機(jī)器人響應(yīng)于所述跟蹤指令，從巡邏狀態(tài)切換為跟蹤狀態(tài)，并根據(jù)跟蹤指令攜帶的監(jiān)控?cái)z像頭編號(hào)，行駛至相應(yīng)的監(jiān)控?cái)z像頭；

所述安防服務(wù)器在判斷出所述巡邏機(jī)器人行駛至人像所在的監(jiān)控范圍后，生成第二拍攝指令，并將所述第二拍攝指令發(fā)送給所述巡邏機(jī)器人；

所述巡邏機(jī)器人響應(yīng)于所述第二拍攝指令，開始拍攝跟蹤視頻，并從所述跟蹤視頻中獲取視頻幀，以及對(duì)獲取的視頻幀進(jìn)行人像檢測(cè)；

在檢測(cè)到人像的情況下，確定人像的特征向量，并將該特征向量與跟蹤指令中的特征向量進(jìn)行相似性對(duì)比，如果相似性超過預(yù)設(shè)閾值，則對(duì)該人像進(jìn)行跟蹤；

所述安防服務(wù)器在判斷出所述被跟蹤的人像離開所述幼兒園出口的監(jiān)控?cái)z像頭的監(jiān)控范圍之后，生成狀態(tài)切換指令，并將所述狀態(tài)切換指令發(fā)送給所述巡邏機(jī)器人；

所述處理模塊響應(yīng)于所述狀態(tài)切換指令，從跟蹤狀態(tài)切換為巡邏狀態(tài)，并針對(duì)上一次巡邏狀態(tài)期間即將巡邏的監(jiān)控盲區(qū)繼續(xù)進(jìn)行巡邏；

幼兒園的各個(gè)監(jiān)控?cái)z像頭持續(xù)拍攝監(jiān)控視頻，安防服務(wù)器每隔預(yù)設(shè)時(shí)間，從各監(jiān)控?cái)z像頭正在顯示的監(jiān)控視頻中提取一個(gè)視頻幀；安防服務(wù)器針對(duì)幼兒園出口處的監(jiān)控?cái)z像頭的視頻幀，將該視頻幀輸入人像檢測(cè)模型，從而通過人像檢測(cè)模型檢測(cè)該視頻幀中是否包含人像；如果該視頻幀中包含人像，則剪裁出人像所在區(qū)域，并對(duì)剪裁出的區(qū)域進(jìn)行卷積和池化，從而得到人像的特征向量；最后將得到的特征向量與需要被跟蹤的人像的特征向量進(jìn)行相似性比較；如果相似性超過預(yù)設(shè)閾值，則確定需要被跟蹤的人像已經(jīng)達(dá)到了幼兒園的出口處；

此后，安防服務(wù)器持續(xù)對(duì)幼兒園出口處的監(jiān)控?cái)z像頭的監(jiān)控視頻進(jìn)行檢測(cè)；如果檢測(cè)到需要被跟蹤的人像從監(jiān)控視頻的預(yù)設(shè)方向消失，則確定需要被跟蹤的人像已經(jīng)離開幼兒園；其中，所述預(yù)設(shè)方向是指遠(yuǎn)離幼兒園的方向；

當(dāng)安防服務(wù)器確定需要被跟蹤的人像已經(jīng)從監(jiān)控視頻的預(yù)設(shè)方向消失，則生成狀態(tài)切換指令，并將狀態(tài)切換指令發(fā)送給巡邏機(jī)器人。