[發(fā)明專利]用于多問題求解的異構(gòu)卷積神經(jīng)網(wǎng)絡(luò)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910168716.5
• 申請(qǐng)日: 2019-03-06
• 公開（公告）號(hào): CN110232304A
• 公開（公告）日: 2019-09-13
• 發(fā)明（設(shè)計(jì)）人: I·F·G·曼蘇爾;H·B·塞弗特
• 申請(qǐng)（專利權(quán)）人: 德韌營(yíng)運(yùn)有限責(zé)任公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 林偉峰

一種異構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(HCNN)系統(tǒng)，包括產(chǎn)生輸入圖像的視覺接收系統(tǒng)。卷積神經(jīng)網(wǎng)絡(luò)的特征提取層(FEL)部分包括堆疊在一起的多個(gè)卷積層、池化層與激活層。FEL包括多個(gè)堆疊層，第一層集合學(xué)習(xí)以簡(jiǎn)單形式(包括水平和垂直線和色塊)表示數(shù)據(jù)。其后層捕獲更復(fù)雜形狀，諸如圓形、矩形和三角形。后續(xù)層拾取復(fù)雜特征組合來形成包括輪、面和網(wǎng)格的表示。FEL部分將數(shù)據(jù)輸出至以下各者中的每一者：第一子網(wǎng)絡(luò)，其執(zhí)對(duì)輸入圖像中的對(duì)象類別執(zhí)行對(duì)象檢測(cè)、分類和定位以創(chuàng)建檢測(cè)到的對(duì)象表的第一任務(wù)；和第二子網(wǎng)絡(luò)，其執(zhí)行定義像素級(jí)分割以創(chuàng)建分割數(shù)據(jù)集的第二任務(wù)。

技術(shù)領(lǐng)域

本公開大體涉及人工智能卷積神經(jīng)網(wǎng)絡(luò)。

背景技術(shù)

本部分中的陳述僅僅提供與本公開有關(guān)的背景資料，且可構(gòu)成或可不構(gòu)成現(xiàn)有技術(shù)。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)正用來解決計(jì)算機(jī)視覺中的問題，包括圖像分類、對(duì)象檢測(cè)和對(duì)象分割問題。CNN可由一個(gè)或多個(gè)卷積層組成，通常包括子采樣步驟，緊接著是類似于標(biāo)準(zhǔn)多層神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)全連接層。CNN的架構(gòu)設(shè)計(jì)成利用輸入圖像(包括來自相機(jī)的像素圖像)的2D結(jié)構(gòu)。這包括局部連接和綁定權(quán)重，緊接著是某種形式的池化，其產(chǎn)生平移不變特征。CNN的益處包括相比具有相同數(shù)量的隱藏單元的全連接網(wǎng)絡(luò)，其易于訓(xùn)練且具有較少的參數(shù)。

傳統(tǒng)CNN不同時(shí)解決兩個(gè)或兩個(gè)以上獨(dú)立問題。舉例來說，已知CNN在應(yīng)用于汽車車輛輔助和自主控制系統(tǒng)時(shí)，不能同時(shí)執(zhí)行包括分類及定位，和道路分割(車道檢測(cè))問題的對(duì)象檢測(cè)。這需要車輛計(jì)算機(jī)系統(tǒng)執(zhí)行多個(gè)并行或獨(dú)立計(jì)算步驟，從而需要更長(zhǎng)的計(jì)算時(shí)間和更多內(nèi)存。

因此，雖然當(dāng)前汽車人工智能系統(tǒng)CNN實(shí)現(xiàn)了其預(yù)期目的，但仍需要允許多問題求解的新的及改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

發(fā)明內(nèi)容

根據(jù)若干方面，一種異構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(HCNN)系統(tǒng)，包括產(chǎn)生輸入圖像的視覺接收系統(tǒng)。卷積神經(jīng)網(wǎng)絡(luò)中的特征提取機(jī)構(gòu)包括卷積神經(jīng)網(wǎng)絡(luò)的特征提取層(FEL)，其具有彼此堆疊在一起的多個(gè)卷積、池化與激活層，直接接收輸入圖像，進(jìn)行學(xué)習(xí)操作以學(xué)習(xí)表示輸入圖像的第一階段數(shù)據(jù)。FEL包括多個(gè)不同的堆疊層，其中第一層集合(直接在輸入圖像之后的層)學(xué)習(xí)以非常簡(jiǎn)單的形式(諸如水平和垂直線以及簡(jiǎn)單的色塊)表示數(shù)據(jù)。其后層捕獲更復(fù)雜形狀，諸如圓形、矩形、三角形等等。后續(xù)層從一個(gè)或多個(gè)先前層拾取特征的復(fù)雜組合以形成更有意義的表示，諸如輪、面、網(wǎng)格等等。所有上述情況均發(fā)生在FEL內(nèi)部，因此HCNN通過針對(duì)子網(wǎng)絡(luò)中的每一者僅執(zhí)行一次上述動(dòng)作，節(jié)省了計(jì)算、內(nèi)存，并使執(zhí)行加速。FEL部分將第一階段數(shù)據(jù)輸出至以下各者：第一子網(wǎng)絡(luò)，其對(duì)輸入圖像中的對(duì)象類別執(zhí)行對(duì)象檢測(cè)、分類和定位以創(chuàng)建檢測(cè)到的對(duì)象表的第一任務(wù)；和第二子網(wǎng)絡(luò)，其執(zhí)行定義像素級(jí)分割以創(chuàng)建分割數(shù)據(jù)集的第二任務(wù)。第一階段數(shù)據(jù)包括從輸入圖像捕獲的第一特征映射。

在本公開的另一方面，F(xiàn)EL部分包括第一卷積與池化層(CPL)部分，其接收所述第一階段的數(shù)據(jù)，并且在第二階段數(shù)據(jù)中捕獲包括圓形、矩形、三角形等等的形狀。第一CPL部分將第二階段數(shù)據(jù)轉(zhuǎn)發(fā)至第一子網(wǎng)絡(luò)用于執(zhí)行第一任務(wù)，即對(duì)輸入圖像中的對(duì)象類別執(zhí)行對(duì)象檢測(cè)、分類和定位以創(chuàng)建檢測(cè)到的對(duì)象表。FEL對(duì)于子網(wǎng)絡(luò)中的每一者都是公共的，并且在FEL提供各個(gè)特殊任務(wù)(包括像素級(jí)分割和對(duì)象檢測(cè)、分類和定位)之后，分離成專用層時(shí)被重復(fù)利用。

在本公開的另一方面，F(xiàn)EL部分包括第二CPL部分，該第二CPL部分捕獲定義復(fù)雜幾何形狀的第三階段數(shù)據(jù)，第三階段數(shù)據(jù)包括第一階段數(shù)據(jù)與第二階段數(shù)據(jù)的組合和復(fù)雜特征組合以形成包括輪、面和網(wǎng)格的表示，第二CPL部分將第三階段數(shù)據(jù)轉(zhuǎn)發(fā)至第一子網(wǎng)絡(luò)用于執(zhí)行第一任務(wù)，即對(duì)輸入圖像中的對(duì)象類別執(zhí)行對(duì)象檢測(cè)、分類和定位以創(chuàng)建檢測(cè)到的對(duì)象表。

在本公開的另一方面，通過最小化第二子網(wǎng)絡(luò)的損失函數(shù)同時(shí)凍結(jié)第一子網(wǎng)絡(luò)來訓(xùn)練第二子網(wǎng)絡(luò)。

在本公開的另一方面，通過最小化第一子網(wǎng)絡(luò)的損失函數(shù)同時(shí)凍結(jié)第二子網(wǎng)絡(luò)來訓(xùn)練第一子網(wǎng)絡(luò)。