[發(fā)明專(zhuān)利]使用駕駛員注意力信息的語(yǔ)義分割

在審

• 申請(qǐng)?zhí)枺?/td>: 201911395215.7
• 申請(qǐng)日: 2019-12-30
• 公開(kāi)（公告）號(hào): CN111382670A
• 公開(kāi)（公告）日: 2020-07-07
• 發(fā)明（設(shè)計(jì)）人: K.M.欽尼
• 申請(qǐng)（專(zhuān)利權(quán)）人: 羅伯特·博世有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/34;G06K9/62
• 代理公司: 中國(guó)專(zhuān)利代理(香港)有限公司 72001
• 代理人: 張健;劉春元

一種用于創(chuàng)建經(jīng)訓(xùn)練的語(yǔ)義分割網(wǎng)絡(luò)模型并且使用該模型來(lái)操作車(chē)輛的方法。一種示例方法包括：被配置成捕獲表示駕駛員視圖的人工表示的圖像的外視相機(jī)、被配置成捕獲駕駛員眼部運(yùn)動(dòng)的面向駕駛員的相機(jī)、以及電子控制器。電子控制器被配置成：從相機(jī)接收?qǐng)D像；利用人工駕駛員視圖來(lái)校準(zhǔn)駕駛員眼部運(yùn)動(dòng)的圖像；創(chuàng)建校準(zhǔn)圖像的像素加權(quán)熱圖；使用像素加權(quán)熱圖和人工駕駛員視圖來(lái)創(chuàng)建經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型和經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型；以及使用經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型和經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型來(lái)操作車(chē)輛。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2018年12月31日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)No.62/786,711的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用被整體地并入。

技術(shù)領(lǐng)域

實(shí)施例除了其他之外涉及獲取用于注意力神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)，并且將經(jīng)訓(xùn)練的模型用于自主駕駛功能。

背景技術(shù)

現(xiàn)代車(chē)輛包括利用語(yǔ)義分割網(wǎng)絡(luò)模型的自主或半自主駕駛功能。這些分割網(wǎng)絡(luò)模型是例如關(guān)于對(duì)象標(biāo)識(shí)和被指派給所定義對(duì)象內(nèi)的每個(gè)像素的標(biāo)簽而訓(xùn)練的。

發(fā)明內(nèi)容

像素的重要性在分割網(wǎng)絡(luò)模型的訓(xùn)練期間被忽略，并且每個(gè)像素被同等地看待。實(shí)際上，像素具有不同的相關(guān)性，并且某些像素應(yīng)當(dāng)被視為比其他像素更重要。盡管分割網(wǎng)絡(luò)模型是已知的，但是結(jié)合加權(quán)像素的使用以表示不同重要性來(lái)訓(xùn)練分割網(wǎng)絡(luò)模型是不可用的，或者不是在駕駛員眼部跟蹤的使用的情況下實(shí)現(xiàn)的。

本文中描述的實(shí)施例除了其他之外提供了一種用于使用語(yǔ)義分割模型的系統(tǒng)和方法，該語(yǔ)義分割模型與獲取的數(shù)據(jù)一起被訓(xùn)練以便結(jié)合基于重要性的像素加權(quán)。

一個(gè)實(shí)施例提供了一種用于創(chuàng)建經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型和經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型以操作車(chē)輛的系統(tǒng)。所述系統(tǒng)包括：外視相機(jī)（outside view camera）、面向駕駛員的相機(jī)、以及一個(gè)或多個(gè)電子控制器。所述一個(gè)或多個(gè)電子控制器被配置成：從所述外視相機(jī)接收?qǐng)D像，并且從所述面向駕駛員的相機(jī)接收駕駛員眼部運(yùn)動(dòng)的圖像。所述一個(gè)或多個(gè)電子控制器被配置成：利用來(lái)自所述外視相機(jī)的圖像來(lái)校準(zhǔn)所述駕駛員眼部運(yùn)動(dòng)的圖像以創(chuàng)建校準(zhǔn)圖像，所述校準(zhǔn)圖像用于創(chuàng)建所述校準(zhǔn)圖像的像素加權(quán)熱圖。所述一個(gè)或多個(gè)電子控制器還被配置成：使用來(lái)自所述外視相機(jī)的圖像來(lái)創(chuàng)建經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型，并且使用所述像素加權(quán)熱圖來(lái)創(chuàng)建經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型。所述一個(gè)或多個(gè)電子控制器被配置成：使用經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型和經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型來(lái)操作車(chē)輛。

另一個(gè)實(shí)施例提供了一種用于創(chuàng)建經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型和經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型以操作車(chē)輛的方法。所述方法包括：經(jīng)由一個(gè)或多個(gè)電子控制器、從外視相機(jī)接收?qǐng)D像并且從面向駕駛員的相機(jī)接收駕駛員眼部運(yùn)動(dòng)的圖像。所述方法還包括：經(jīng)由所述一個(gè)或多個(gè)電子控制器、利用來(lái)自所述外視相機(jī)的圖像來(lái)校準(zhǔn)所述駕駛員眼部運(yùn)動(dòng)的圖像以創(chuàng)建校準(zhǔn)圖像，所述校準(zhǔn)圖像用于創(chuàng)建所述校準(zhǔn)圖像的像素加權(quán)熱圖。所述方法還包括：經(jīng)由所述一個(gè)或多個(gè)電子控制器、使用來(lái)自所述外視相機(jī)的圖像來(lái)創(chuàng)建經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型，并且使用所述像素加權(quán)熱圖來(lái)創(chuàng)建經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型。所述方法還包括：經(jīng)由所述一個(gè)或多個(gè)電子控制器、使用經(jīng)訓(xùn)練的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型和經(jīng)訓(xùn)練的注意力神經(jīng)網(wǎng)絡(luò)模型來(lái)操作車(chē)輛。

通過(guò)考慮詳細(xì)描述以及附圖，其他方面、特征和實(shí)施例將變得顯而易見(jiàn)。

附圖說(shuō)明

圖1是根據(jù)一個(gè)實(shí)施例的用于改進(jìn)針對(duì)語(yǔ)義分割模型的訓(xùn)練數(shù)據(jù)的獲取的系統(tǒng)的框圖。

圖2是根據(jù)一個(gè)實(shí)施例的圖1的系統(tǒng)的第一電子控制器的框圖。

圖3是根據(jù)一個(gè)實(shí)施例的圖1的系統(tǒng)的第二電子控制器的框圖。

圖4是根據(jù)一個(gè)實(shí)施例的圖1的系統(tǒng)的外視相機(jī)的框圖。