[發(fā)明專利]一種基于圖神經(jīng)網(wǎng)絡(luò)的自動(dòng)泊車停車位檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011059942.9
• 申請(qǐng)日: 2020-09-30
• 公開（公告）號(hào): CN112201078B
• 公開（公告）日: 2021-08-10
• 發(fā)明（設(shè)計(jì)）人: 許嬌龍;趙大偉;肖良;閔稱
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍軍事科學(xué)院國(guó)防科技創(chuàng)新研究院
• 主分類號(hào): G08G1/14
• 分類號(hào): G08G1/14;B60W30/06;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中國(guó)兵器工業(yè)集團(tuán)公司專利中心 11011
• 代理人: 劉瑞東

1.一種基于圖神經(jīng)網(wǎng)絡(luò)的自動(dòng)泊車停車位檢測(cè)方法，其特征在于，包括如下步驟：

S1、在車輛前后左右四個(gè)方向安裝圖像采集設(shè)備；

S2、利用圖像采集設(shè)備采集車輛前后左右四個(gè)方向的圖像并轉(zhuǎn)換為以車輛位置為中心的俯視圖；

S3、將俯視圖輸入基于圖神經(jīng)網(wǎng)絡(luò)的停車位檢測(cè)模塊，檢測(cè)圖像中的停車位的四個(gè)角點(diǎn)位置，并識(shí)別車位的類型；

所述停車位檢測(cè)模塊包括卷積神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)兩個(gè)部分；

第一部分卷積神經(jīng)網(wǎng)絡(luò)由圖像特征編碼器，角點(diǎn)檢測(cè)器和角點(diǎn)特征編碼器A組成；圖像特征編碼器由多個(gè)卷積層、池化層組成；角點(diǎn)檢測(cè)器由多個(gè)卷積層和一個(gè)Sigmoid激活層組成，其輸出為包含3個(gè)通道的格網(wǎng)，其中第一個(gè)通道每個(gè)格網(wǎng)位置輸出該格網(wǎng)檢測(cè)到停車位角點(diǎn)的概率，第二個(gè)通道每個(gè)格網(wǎng)位置輸出該格網(wǎng)相對(duì)真實(shí)角點(diǎn)位置在x方向的偏移量，第三個(gè)通道每個(gè)格網(wǎng)位置輸出該格網(wǎng)相對(duì)真實(shí)角點(diǎn)位置在y方向的偏移量；角點(diǎn)特征編碼器A由多個(gè)卷積層組成；最后一個(gè)卷積層的輸出根據(jù)角點(diǎn)檢測(cè)器最后得到的角點(diǎn)位置進(jìn)行雙線性差值計(jì)算，得到每個(gè)角點(diǎn)位置的特征；

第二部分為圖神經(jīng)網(wǎng)絡(luò)，由角點(diǎn)特征編碼器B、圖神經(jīng)網(wǎng)絡(luò)編碼器和邊判別器組成；

S3.1、將每一幀俯視圖縮放為統(tǒng)一尺寸的圖像數(shù)據(jù)；

S3.2、將所述S3.1中的圖像數(shù)據(jù)輸入基于圖神經(jīng)網(wǎng)絡(luò)的停車位檢測(cè)模塊的圖像編碼器中，輸出圖像特征F；在角點(diǎn)檢測(cè)器輸入圖像特征F，輸出角點(diǎn)位置信息；角點(diǎn)特征編碼器A輸入角點(diǎn)位置信息和圖像特征F，輸出各個(gè)角點(diǎn)的特征描述子；

在推理階段，角點(diǎn)檢測(cè)器的輸出經(jīng)過非極大值抑制處理，得到最終置信度最高的N個(gè)角點(diǎn)，用Nx2的矩陣表示，其中每一行為長(zhǎng)度為2的向量[x,y]，用來表示角點(diǎn)的x和y坐標(biāo)；假設(shè)角點(diǎn)檢測(cè)器輸出為Nx2的矩陣，角點(diǎn)特征編碼器A輸出為Nxc的矩陣，其中c為角點(diǎn)特征描述子的長(zhǎng)度；

S3.3、將步驟3.2的角點(diǎn)位置信息和角點(diǎn)特征描述子輸入圖神經(jīng)網(wǎng)絡(luò)，計(jì)算停車位類型和停車位位置；

S3.3.1、計(jì)算停車位類型

角點(diǎn)特征編碼器B先將所述S3.2中角點(diǎn)檢測(cè)器輸出的Nx2的角點(diǎn)位置信息輸入一個(gè)多層感知機(jī)(MLP編碼器)，得到Nxc的特征表示矩陣，該特征表示矩陣和角點(diǎn)特征編碼器A輸出的Nxc的角點(diǎn)特征描述子相加得到Nxc的矩陣作為圖神經(jīng)網(wǎng)絡(luò)編碼器的輸入特征；

圖神經(jīng)網(wǎng)絡(luò)編碼器根據(jù)輸入Nxc大小的特征，構(gòu)建包含N個(gè)節(jié)點(diǎn)的圖，其輸出為Nxc大小的節(jié)點(diǎn)特征矩陣；

邊判別器接收Nxc大小的節(jié)點(diǎn)特征矩陣作為輸入，輸出Kx5大小的矩陣；其中，K＝NxN，表示一共有NxN對(duì)節(jié)點(diǎn)；每一行為一個(gè)5維的向量[x1,y1,x2,y2,t]，其中，(x1,y1)和(x2,y2)分別表示停車位入口的角點(diǎn)位置，t表示該停車位的類型；

邊判別器對(duì)N個(gè)節(jié)點(diǎn)中任意一對(duì)節(jié)點(diǎn)進(jìn)行處理，先將圖神經(jīng)網(wǎng)絡(luò)編碼得到的任意兩個(gè)節(jié)點(diǎn)的1xc大小的節(jié)點(diǎn)特征級(jí)聯(lián)，形成一個(gè)1x2c大小的輸入特征，該特征經(jīng)過MLP層和Dropout層得到兩路輸出；第一路輸出經(jīng)過Sigmoid激活層得到邊的判別結(jié)果，判斷該邊是否構(gòu)成停車位入口，第二路輸出經(jīng)過Softmax層得到邊的分類結(jié)果，即獲得停車位類型；

S3.3.2、停車位的四個(gè)角點(diǎn)位置

將邊判別器最終得到的每個(gè)停車位對(duì)應(yīng)的5維向量[x1,y1,x2,y2,t]作為輸入，假設(shè)p1，p2，p3，p4分別為四個(gè)角點(diǎn)的位置，其中p1＝(x1,y1)，p2＝(x2,y2)為邊判別器輸出的停車位入口角點(diǎn)位置，根據(jù)停車位類型t得到邊p1p2和邊p2p3的夾角a的大小，以及車位深度d的大小，根據(jù)公式(1)、(2)即可得到車位角點(diǎn)p3和p4的位置信息：

S4、將檢測(cè)到的車位信息發(fā)送給規(guī)劃控制模塊，計(jì)算泊車路線并控制車輛自動(dòng)駛?cè)霗z測(cè)到的目標(biāo)車位，實(shí)現(xiàn)自動(dòng)泊車。

2.根據(jù)如權(quán)利要求1所述的一種基于圖神經(jīng)網(wǎng)絡(luò)的自動(dòng)泊車停車位檢測(cè)方法，其特征在于，所述步驟S1中的圖像采集設(shè)備為魚眼相機(jī)。

3.根據(jù)如權(quán)利要求2所述的一種基于圖神經(jīng)網(wǎng)絡(luò)的自動(dòng)泊車停車位檢測(cè)方法，其特征在于，所述步驟S3.1通過環(huán)視圖像投影變換與拼接實(shí)現(xiàn)。