[發明專利]基于R-CNN檢測客體的方法和裝置

有效

• 申請號: 201910922276.8
• 申請日: 2019-09-27
• 公開（公告）號: CN111008626B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/75;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/044;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明是基于R?CNN檢測客體的方法和裝置，涉及一種基于R?CNN的客體檢測器的學習方法和測試方法及利用其的學習裝置和測試裝置，其特征在于，輸入了至少一個訓練圖像后，學習裝置(ⅰ)使至少一個卷積層將至少一個卷積運算應用于所述訓練圖像，使得生成至少一個特征圖，(ⅱ)使RPN輸出ROI回歸信息及匹配信息，且所述ROI回歸信息包括針對與各個候選區域對應的各個ROI候選的回歸信息，其中，所述候選區域是預測為包含所述特征圖中的特定特征圖上的至少一個客體的區域，所述匹配信息包括關于從分別包含至少一個對應的類的至少一個類群中選擇的一個類群的信息，所述至少一個類是參照關于各個ROI候選中包含的所述至少一個客體的信息而決定的。

技術領域

本發明涉及一種基于R-CNN(區域卷積神經網絡，Region-Convoluti onal NeuralNetwork)的客體檢測器的學習方法和測試方法及利用其的學習裝置和測試裝置。

背景技術

深度學習是用于將事物或數據聚類或分類的技術。例如，計算機無法單憑照片區分狗和貓。但人可以很容易地區分。為此研發了稱之為“機器學習(Machine Learning)”的方法。這是一種將很多數據輸入到計算機并將類似數據進行分類的技術。如果輸入與儲存的狗照片相似的照片，則計算機就會將其分類為狗照片。

有關如何分類數據，已出現了很多機器學習算法。代表性的有“決策樹”或“貝頁斯網絡”、“支持向量機(Support Vector Machine，SVM)”、“人工神經網絡”等。其中，深度學習是人工神經網絡的后裔。

深層卷積神經網絡(Deep Convolutional Neural Network；Deep CNN)是在深度學習領域飛速發展的核心。為了解決文字識別問題，CNNs早在90年代就已經被使用了，而像現在如此廣泛應用，得益于最近的研究成果。這樣的深度CNN在2012年ImageNet圖像分類大賽中戰勝其他競爭者而贏得了冠軍。之后，卷積神經網絡成為了機器學習(MachineLearning)領域中非常有用的工具。

特別是最近，為了檢測存在于圖像中的客體，正在大量使用基于R-CNN(Region-Convolutional Neural Network)的客體檢測器。

這種基于R-CNN的客體檢測器參照損失值，利用反向傳播實現學習，其性能決定于學習的結果。

但是，想得到包含了要利用所述客體檢測器進行檢測的所有客體的數據集(dataset)卻并不容易。

作為一個示例，當開發用于在汽車的行駛道路圖像中檢測諸如行人、駕駛員、車輛、交通標志、交通信號及動物的6類客體的客體檢測器時，不容易利用包含所述6類客體全部的訓練圖像構成數據集。

因此，就現有的基于R-CNN的客體檢測器而言，如果提供了針對要檢測的客體所分類的各個類群的各個數據集，則按所述各個數據集分別生成R-CNN網絡，學習R-CNN網絡的參數。其中，所述現有的客體檢測器包括各個經學習的R-CNN網絡。

即，參照圖1，當在檢測諸如行人、駕駛員、車輛、交通標志、交通信號及動物的6類客體時，如(a)所示，構成至少一個關于行人、駕駛員及車輛的數據集，用于學習R-CNN1的參數，如(b)所示，構成至少一個關于交通標志及交通信號的數據集，用于學習R-CNN2的參數，如(c)所示，構成至少一個關于動物的數據集，用于學習R-CNN3的參數。

然后，以包括各個經學習的所述R-CNN1、所述R-CNN2及所述R-CNN3的方式，構成基于所述R-CNN的所述客體檢測器。

但是，這種現有的基于所述R-CNN的所述客體檢測器包含了與學習用數據集個數對應的互不相同的多個深度學習網絡，當進行實際測試時，所述現有的客體檢測器與只包括1個深度學習網絡的檢測器比較，則存在運行時間與所包含的深度學習網絡個數成比例增加的問題。

發明內容