[發明專利]行人檢測方法和裝置

有效

• 申請號: 201711346003.0
• 申請日: 2017-12-15
• 公開（公告）號: CN109934045B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 彭剛林;吳江旭;李盛慧;張偉華
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種行人檢測方法，包括：

接收圖像采集設備發送的圖像信息，其中，所述圖像信息包括平面圖像信息和景深圖像信息；

提取所述圖像信息的相關信息，其中，所述相關信息包括以下至少一項：顏色信息、語義信息和景深信息；

將所述相關信息輸入預先訓練的卷積神經網絡，得到所述圖像信息的行人檢測結果，其中，所述卷積神經網絡用于檢測圖像中的行人信息；所述卷積神經網絡為多個，每個卷積神經網絡的輸入信息對應不同的相關信息，每個卷積神經網絡的輸出信息為與輸入的相關信息對應的圖像信息的行人檢測結果；多個卷積神經網絡通過以下步驟訓練得到：獲取樣本圖像以及所述樣本圖像對應的行人標記數據；提取所述樣本圖像的樣本顏色信息、樣本語義信息和樣本景深信息；將所述樣本顏色信息、所述樣本語義信息和所述樣本景深信息分別作為三個卷積神經網絡的輸入，并將行為標記數據均作為三個卷積神經網絡的輸出，訓練得到三個不同的卷積神經網絡；

響應于確定所述圖像信息中存在行人信息，對行人信息在所述圖像信息中的位置進行標注，生成反饋信息。

2.根據權利要求1所述的方法，其中，所述提取所述圖像信息的相關信息，包括以下至少一項：

根據所述平面圖像信息，提取所述圖像信息的顏色信息；

對所述平面圖像信息進行語義分割處理，得到所述圖像信息的語義信息；

根據所述景深圖像信息，提取所述圖像信息的景深信息。

3.根據權利要求2所述的方法，其中，所述對所述平面圖像信息進行語義分割處理，得到所述圖像信息的語義信息，包括：

利用全卷積神經網絡，將所述平面圖像信息的像素數據轉換為二維矩陣，并對所述二維矩陣進行池化、反卷積處理；

利用全連接條件隨機場、馬爾科夫隨機場或高斯條件隨機場，對處理后的二維矩陣進行優化，得到所述圖像信息的分割圖像信息。

4.根據權利要求1所述的方法，其中，所述卷積神經網絡通過以下步驟訓練得到：

獲取樣本圖像和與所述樣本圖像對應的目標物標記數據，其中，所述樣本圖像包括平面樣本圖像和景深樣本圖像，所述目標物標記數據包括行人標記數據；

對所述樣本圖像進行預處理，以使處理后的樣本圖像滿足預設像素數；

提取處理后的樣本圖像的樣本信息，其中，所述樣本信息包括顏色信息、語義信息和景深信息；

將所述樣本信息作為輸入，所述目標物標記數據作為輸出，訓練得到卷積神經網絡。

5.根據權利要求1所述的方法，其中，所述將所述樣本信息作為輸入，所述目標物標記數據作為輸出，訓練得到卷積神經網絡，包括：

將所述樣本信息作為輸入，所述目標物標記數據作為輸出，利用端到端的深度學習目標檢測方法來訓練得到卷積神經網絡。

6.一種行人檢測裝置，包括：

接收單元，配置用于接收圖像采集設備發送的圖像信息，其中，所述圖像信息包括平面圖像信息和景深圖像信息；

提取單元，配置用于提取所述圖像信息的相關信息，其中，所述相關信息包括以下至少一項：顏色信息、語義信息和景深信息；

檢測單元，配置用于將所述相關信息輸入預先訓練的卷積神經網絡，得到所述圖像信息的行人檢測結果，其中，所述卷積神經網絡用于檢測圖像中的行人信息；所述卷積神經網絡為多個，每個卷積神經網絡的輸入信息對應不同的相關信息，每個卷積神經網絡的輸出信息為與輸入的相關信息對應的圖像信息的行人檢測結果；多個卷積神經網絡通過以下步驟訓練得到：獲取樣本圖像以及所述樣本圖像對應的行人標記數據；提取所述樣本圖像的樣本顏色信息、樣本語義信息和樣本景深信息；將所述樣本顏色信息、所述樣本語義信息和所述樣本景深信息分別作為三個卷積神經網絡的輸入，并將行為標記數據均作為三個卷積神經網絡的輸出，訓練得到三個不同的卷積神經網絡；

生成單元，配置用于響應于確定所述圖像信息中存在行人信息，對行人信息在所述圖像信息中的位置進行標注，生成反饋信息。