[發明專利]檢測裝置和方法及圖像處理裝置和系統

在審

• 申請號: 201910149263.1
• 申請日: 2019-02-28
• 公開（公告）號: CN111626082A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 黃耀海;張志遠
• 申請（專利權）人: 佳能株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京怡豐知識產權代理有限公司 11293
• 代理人: 遲軍;李艷麗

本發明公開了一種檢測裝置和方法及圖像處理裝置和系統。所述檢測裝置包括：從圖像中提取特征的單元；基于所提取的特征檢測圖像中的對象的單元；以及，基于所提取的特征、所檢測到的對象及預先獲得的關鍵點集檢測所檢測到的對象的關鍵點的單元。根據本發明，在進行對象及其關鍵點的檢測的同時，能確保整個的檢測速度不受待檢測圖像中的對象的數量的影響，從而可更好地滿足實際的計算機視覺任務對檢測及時性和實用性的要求。

技術領域

本發明涉及圖像處理，尤其涉及例如圖像中的對象及其關鍵點的檢測。

背景技術

對象(例如，人、物體)的關鍵點檢測是諸多計算機視覺任務的基礎，例如動作檢測和分類、異常/危險行為檢測以及自動駕駛等。因此對象的關鍵點檢測十分重要。當前常規的做法是將一個復雜的多對象關鍵點檢測問題簡化為單對象關鍵點檢測問題。具體操作為：先從圖像中檢測出多個對象(例如，尤其是對象的邊界框)，之后對每一個檢測到的對象從其邊界框中檢測出相應的關鍵點。

例如，非專利文獻“Mask R-CNN”(Kaiming He,Georgia Gkioxari,Piotr Doll′ar,Ross Girshick；Facebook AI Research；ICCV 2017)中公開了一種利用神經網絡檢測對象關鍵點的示例性技術。其中，該示例性技術用到的神經網絡例如包括用于檢測對象的網絡分支和用于檢測對象關鍵點的網絡分支。其中，該示例性技術主要是：先利用用于檢測對象的網絡分支檢測出圖像中的對象及獲得對象的類別；之后對每一個檢測到的對象，利用用于檢測對象關鍵點的網絡分支檢測出該對象的關鍵點。

如上所述可知，在進行對象的關鍵點的檢測過程中，上述的做法需要通過兩個獨立的階段來實現相應的檢測。其中一個階段的操作是檢測圖像中的對象(例如，包括對象的邊界框和對象的類別)。另一個階段的操作是對每一個檢測到的對象檢測其相應的關鍵點，也即，在該階段需要對檢測到的每一個對象逐一地進行關鍵點的檢測操作。由此可見，在待檢測圖像中的對象的數量較多的情況下，關鍵點檢測操作所需耗費的時間將更多，從而影響整個的檢測速度(例如，使得檢測速度變慢)。換句話說，關鍵點檢測操作所需耗費的時間與待檢測圖像中的對象的數量直接相關。因此，待檢測圖像中的對象的數量越多，關鍵點檢測操作所需耗費的時間將越多，整個的檢測速度所受到的影響也將越大，進而使得實際的計算機視覺任務的及時性和實用性受到影響。

發明內容

鑒于上面的背景技術中的記載，本發明旨在解決上述問題中的至少一點。

根據本發明的一個方面，提供一種檢測裝置，所述檢測裝置包括：特征提取單元，從圖像中提取特征；對象檢測單元，基于所提取的特征檢測所述圖像中的對象；以及關鍵點檢測單元，基于所提取的特征、所檢測到的對象及預先獲得的關鍵點集檢測所檢測到的對象的關鍵點。

根據本發明的另一個方面，提供一種檢測方法，所述檢測方法包括：特征提取步驟，從圖像中提取特征；對象檢測步驟，基于所提取的特征檢測所述圖像中的對象；以及關鍵點檢測步驟，基于所提取的特征、所檢測到的對象及預先獲得的關鍵點集檢測所檢測到的對象的關鍵點。

其中，在本發明中，圖像中的對象例如包括圖像中的人和圖像中的物體。其中，所檢測到的對象至少具有對象的區域信息和對象的類別置信度信息。其中，在本發明中，所述預先獲得的關鍵點集中的一個關鍵點集例如可描述一個對象的形狀和/或可描述一個對象的姿勢。

根據本發明的再一方面，提供一種圖像處理裝置，所述圖像處理裝置包括：獲取設備，用于獲取圖像或視頻；存儲設備，存儲有指令；以及處理器，基于所獲得的圖像或視頻執行所述指令，使得所述處理器至少實現如上所述的檢測方法。

根據本發明的又一方面，提供一種圖像處理系統，所述圖像處理系統包括：獲取設備，用于獲取圖像或視頻；如上所述的檢測裝置，從所獲取的圖像或視頻中檢測對象及其關鍵點；以及處理裝置，基于所檢測到的對象及其關鍵點，執行后續的圖像處理操作；其中，所述獲取裝置、所述檢測裝置和所述處理裝置經由網絡相互連接。