[發明專利]一種基于TOF相機車廂內人員活動的監控方法及系統

有效

• 申請號: 202010408051.3
• 申請日: 2020-05-14
• 公開（公告）號: CN111597974B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 孫安康;張如意;蔡劉平;郭慶洪;吳自翔;于振中;李文興
• 申請（專利權）人: 哈工大機器人（合肥）國際創新研究院
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/59;G06V10/774;G06V40/20;G06T5/00;G06T7/514
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 丁瑞瑞

本發明提供了一種基于TOF相機的車廂內人員活動的監控方法及裝置，所述方法包括：1)、獲取車輛內部載人區域的TOF圖像；2)、利用預先訓練的VGGNet網絡識別出人體關鍵點，其中，所述人體關鍵點包括：頭、頸、雙肘、雙手、腰、雙膝、雙腳中的一種或組合；3)、根據所述關鍵點以及對應的人體學結構，將所述關鍵點連接成骨骼框架，并根據圖像序列得到人體骨骼框架的姿態序列；利用預先訓練的ST?GCN網絡識別出姿態序列對應的人員動作；4)、根據人員動作與預設的危險行為之間的匹配關系，判斷所述人員動作是否屬于危險行為。應用本發明實施例，實現了識別人體姿態對應的動作是否為危險行為。

技術領域

本發明涉及乘車安全技術領域，具體涉及一種基于TOF相機車廂內人員活動的監控方法及系統。

背景技術

隨著經濟水平的提高，汽車走進了千家萬戶，然而也隨之帶來的一些人身和財產安全的隱患。如家長在下車后將孩子獨自留在車中；車窗忘記關閉導致財產丟失；尤其是網約車中乘客的人身安全風險在一定程度上更高，例如2018年5月6號河南鄭州發生的空姐乘坐滴滴順風車的意外

現有技術中申請號為201910996188.2的發明專利申請公開了一種乘員保護方法，包括：獲取車內乘員信息以及車內環境信息；所述車內乘員信息包括車內乘員行為信息、車內乘員聲音信息中的一種或多種；所述車內環境信息包括車內環境圖像信息、車內環境聲音信息、車內空氣質量信息、車內溫度信息中的一種或多種；根據所述車內乘員信息以及所述車內環境信息，確定異常狀態類型以及異常程度；所述異常狀態類型包括車內乘員異常和車內環境異常，所述車內乘員異常包括車內乘員行為異常以及車內乘員聲音異常中的一種或多種，所述車內環境異常包括車內環境圖像異常、車內環境聲音異常、車內空氣質量異常以及車內溫度異常中的一種或多種；根據所述異常狀態類型以及所述異常程度，確定應急措施，所述應急措施為減小所述異常程度的操作。

現有技術僅公開了根據圖像的異常進行車輛內異常狀態類型的判斷，并未公開是如何進行車輛內異常狀態判斷的具體過程。

發明內容

本發明所要解決的技術問題在于如何提供一種基于TOF相機車廂內人員活動的監控方法及裝置以實現車輛內異常狀態判斷。

本發明通過以下手段解決上述技術問題的：

本發明實施例提供了一種基于TOF相機車廂內人員活動的監控方法，所述方法包括：

1)、獲取車輛內部載人區域的TOF圖像；

2)、利用預先訓練的VGGNet模型識別出人體關鍵點，其中，所述人體關鍵點包括：頭、頸、雙肘、雙手、腰、雙膝、雙腳中的一種或組合；

3)、根據所述關鍵點以及對應的人體學結構，將所述關鍵點連接成骨骼框架，并根據圖像序列得到人體骨骼框架的姿態序列；利用預先訓練的ST-GCN模型識別出姿態序列對應的人員動作；

4)、根據人員動作與預設的危險行為之間的匹配關系，判斷所述人員動作是否屬于危險行為，其中，所述危險行為包括：副駕駛觸碰檔位或影響方向盤、司機越界中的一種或組合。

應用本發明實施例，基于TOF圖像識別出人體的關鍵點、構建人體骨骼框架，從圖像序列中得到人體骨骼框架的姿態序列，最后判定姿態序列對應的動作是否為危險行為。

可選的，在步驟2)之前，所述方法包括：

對所述TOF圖像進行預處理，其中，所述預處理包括：對圖像進行濾波處理、進行點云的轉換或者擬合處理中的一種或組合。

可選的，所述對圖像進行濾波處理，包括：

針對每一個像素點，利用公式，

對TOF圖像的進行濾波處理，其中，