[發(fā)明專利]基于R-CNN檢測(cè)客體的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910922276.8
• 申請(qǐng)日: 2019-09-27
• 公開（公告）號(hào): CN111008626B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張?zhí)┬?/a>;鄭景中;諸泓模;趙浩辰
• 申請(qǐng)（專利權(quán)）人: 斯特拉德視覺公司
• 主分類號(hào): G06V10/25
• 分類號(hào): G06V10/25;G06V10/75;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/044;G06N3/08
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種學(xué)習(xí)方法，用于學(xué)習(xí)基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)R-CNN的客體檢測(cè)器的參數(shù)，其特征在于，包括步驟：

(a)，輸入至少一個(gè)訓(xùn)練圖像后，學(xué)習(xí)裝置(ⅰ)使至少一個(gè)卷積層將至少一個(gè)卷積運(yùn)算應(yīng)用于所述訓(xùn)練圖像，生成至少一個(gè)特征圖，(ⅱ)使區(qū)域推選網(wǎng)絡(luò)RPN輸出關(guān)注區(qū)域ROI回歸信息及匹配信息，且所述ROI回歸信息包括針對(duì)與各個(gè)候選區(qū)域?qū)?yīng)的各個(gè)ROI候選的回歸信息，其中，所述候選區(qū)域是預(yù)測(cè)為包含所述特征圖中的特定特征圖上的至少一個(gè)客體的區(qū)域，所述匹配信息包括關(guān)于從分別包含至少一個(gè)對(duì)應(yīng)的類的至少一個(gè)類群中選擇的一個(gè)類群的信息，所述至少一個(gè)類是參照關(guān)于各個(gè)ROI候選中包含的所述至少一個(gè)客體的信息而決定的，(ⅲ)使推選層參照所述ROI回歸信息及所述匹配信息，將所述ROI候選中成為ROI的幾率高的至少一個(gè)特定ROI候選輸出為至少一個(gè)ROI推選，(ⅳ)使推選選擇層參照所述訓(xùn)練圖像，針對(duì)各個(gè)所述匹配信息，分別輸出所述ROI推選；

(b)，所述學(xué)習(xí)裝置使與各個(gè)所述匹配信息對(duì)應(yīng)的各個(gè)池化層，在所述特定特征圖上，對(duì)與針對(duì)各個(gè)所述匹配信息的各個(gè)所述ROI推選對(duì)應(yīng)的區(qū)域進(jìn)行池化，算出各個(gè)的特征矢量，使與各個(gè)所述池化層對(duì)應(yīng)的各個(gè)全連接層，參照各個(gè)所述特征矢量，輸出與針對(duì)各個(gè)所述匹配信息的各個(gè)所述ROI推選對(duì)應(yīng)的客體回歸信息及客體類信息；及

(c)，所述學(xué)習(xí)裝置使與各個(gè)所述全連接層對(duì)應(yīng)的各個(gè)第1損失層，參照針對(duì)各個(gè)所述全連接層的各個(gè)所述匹配信息的所述客體類信息和針對(duì)各個(gè)所述匹配信息的所述客體回歸信息及分別與其對(duì)應(yīng)的第1地面真值GT，計(jì)算各個(gè)客體類損失及各個(gè)客體回歸損失，并反向傳播所述各客體類損失及所述各客體回歸損失，用于學(xué)習(xí)所述各個(gè)全連接層及所述卷積層的參數(shù)。

2.根據(jù)權(quán)利要求1所述的學(xué)習(xí)方法，其特征在于，

所述學(xué)習(xí)裝置使與所述RPN對(duì)應(yīng)的第2損失層，反向傳播參照所述ROI回歸信息、所述匹配信息及至少一個(gè)第2GT而獲得的至少一個(gè)第2損失，用于學(xué)習(xí)所述RPN的參數(shù)。

3.根據(jù)權(quán)利要求1所述的學(xué)習(xí)方法，其特征在于，

當(dāng)判斷為在所述訓(xùn)練圖像上包含與所述匹配信息中的第1匹配信息對(duì)應(yīng)的第1客體和與第2匹配信息對(duì)應(yīng)的第2客體時(shí)，

在所述(a)步驟中，

所述學(xué)習(xí)裝置使所述推選選擇層，輸出與所述第1匹配信息對(duì)應(yīng)的第1ROI推選和與第2匹配信息對(duì)應(yīng)的第2ROI推選；

在所述(b)步驟中，

所述學(xué)習(xí)裝置(ⅰ)使與所述第1匹配信息對(duì)應(yīng)的第1池化層，在所述特定特征圖上對(duì)與所述第1ROI推選對(duì)應(yīng)的區(qū)域進(jìn)行池化，算出第1特征矢量，使與所述第1池化層對(duì)應(yīng)的第1全連接層，利用所述第1特征矢量，輸出所述第1客體的第1客體類信息及第1客體回歸信息，(ⅱ)使與所述第2匹配信息對(duì)應(yīng)的第2池化層，在所述特征圖上，對(duì)與所述第2ROI推選對(duì)應(yīng)的區(qū)域進(jìn)行池化，算出第2特征矢量，使與所述第2池化層對(duì)應(yīng)的第2全連接層，利用所述第2特征矢量，輸出所述第2客體的第2客體類信息及第2客體回歸信息；

在所述(c)步驟中，

所述學(xué)習(xí)裝置(ⅰ)使所述第1損失層中與所述第1全連接層對(duì)應(yīng)的第1-1損失層，參照所述第1客體類信息、所述第1客體回歸信息及所述第1GT中至少一個(gè)第1-1GT，計(jì)算至少一個(gè)第1客體類損失及至少一個(gè)第1客體回歸損失，并反向傳播所述第1客體類損失及所述第1客體回歸損失，用于學(xué)習(xí)所述第1全連接層及所述卷積層的參數(shù)，(ⅱ)使所述第1損失層中與所述第2全連接層對(duì)應(yīng)的第1-2損失層，參照所述第2客體類信息、所述第2客體回歸信息及所述第1GT中至少一個(gè)第1-2GT，計(jì)算至少一個(gè)第2客體類損失及至少一個(gè)第2客體回歸損失，并反向傳播所述第2客體類損失及所述第2客體回歸損失，用于學(xué)習(xí)所述第2全連接層及所述卷積層的參數(shù)。

4.根據(jù)權(quán)利要求1所述的學(xué)習(xí)方法，其特征在于，

在所述(a)步驟之前，

所述學(xué)習(xí)裝置獲得包含與各個(gè)所述類群對(duì)應(yīng)的各個(gè)客體的所述訓(xùn)練圖像，作為各個(gè)批處理數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的學(xué)習(xí)方法，其特征在于，

所述批處理數(shù)據(jù)包含與各個(gè)所述類群對(duì)應(yīng)的相同個(gè)數(shù)的所述訓(xùn)練圖像。