[發(fā)明專(zhuān)利]用于確定調(diào)節(jié)系統(tǒng)的調(diào)節(jié)參數(shù)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011446770.0
• 申請(qǐng)日: 2020-12-11
• 公開(kāi)（公告）號(hào): CN112977461A
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: B·阿爾特;M·赫爾曼
• 申請(qǐng)（專(zhuān)利權(quán)）人: 羅伯特·博世有限公司
• 主分類(lèi)號(hào): B60W40/09
• 分類(lèi)號(hào): B60W40/09
• 代理公司: 中國(guó)專(zhuān)利代理(香港)有限公司 72001
• 代理人: 姬亞?wèn)|;劉春元

本發(fā)明涉及用于使用機(jī)器學(xué)習(xí)來(lái)確定調(diào)節(jié)系統(tǒng)（100）、尤其是機(jī)動(dòng)車(chē)（110）的調(diào)節(jié)系統(tǒng)（100）、尤其是用于調(diào)節(jié)機(jī)動(dòng)車(chē)（110）的行駛運(yùn)行的調(diào)節(jié)系統(tǒng)（100）的調(diào)節(jié)參數(shù)（θj）的方法（200），其中所述方法（200）包括：提供（210）行駛軌跡（D）的集合；在使用逆向強(qiáng)化學(xué)習(xí)方法的情況下從所述行駛軌跡（D）中推導(dǎo)（220）獎(jiǎng)勵(lì)函數(shù)（Rj）；基于所述獎(jiǎng)勵(lì)函數(shù)（Rj）來(lái)推導(dǎo)（230）特定于駕駛員類(lèi)型的聚類(lèi)（Cj）；針對(duì)相應(yīng)的特定于駕駛員類(lèi)型的聚類(lèi)（cj）確定（240）調(diào)節(jié)參數(shù)（θj）。

技術(shù)領(lǐng)域

本公開(kāi)涉及一種按照權(quán)利要求1所述的用于使用機(jī)器學(xué)習(xí)來(lái)確定調(diào)節(jié)系統(tǒng)、尤其是機(jī)動(dòng)車(chē)的調(diào)節(jié)系統(tǒng)、尤其是用于調(diào)節(jié)機(jī)動(dòng)車(chē)的行駛運(yùn)行的調(diào)節(jié)系統(tǒng)的調(diào)節(jié)參數(shù)的方法。

本公開(kāi)還涉及一種按照權(quán)利要求6所述的用于利用調(diào)節(jié)系統(tǒng)來(lái)對(duì)機(jī)動(dòng)車(chē)進(jìn)行調(diào)節(jié)的方法。

本公開(kāi)還涉及一種按照權(quán)利要求10所述的調(diào)節(jié)系統(tǒng)。

背景技術(shù)

調(diào)節(jié)系統(tǒng)在機(jī)動(dòng)車(chē)中例如被用作駕駛員輔助系統(tǒng)，以便在某些行駛情況下對(duì)機(jī)動(dòng)車(chē)的駕駛員進(jìn)行輔助或使機(jī)動(dòng)車(chē)的駕駛員減輕負(fù)擔(dān)。

為了實(shí)現(xiàn)該輔助功能，駕駛員輔助系統(tǒng)包括周?chē)h(huán)境傳感器，諸如雷達(dá)傳感器、激光雷達(dá)傳感器、激光掃描儀、視頻傳感器和超聲傳感器。只要車(chē)輛裝備有導(dǎo)航系統(tǒng)，駕駛員輔助系統(tǒng)就也可以動(dòng)用該系統(tǒng)的數(shù)據(jù)。此外，與車(chē)輛的車(chē)載電網(wǎng)優(yōu)選地經(jīng)由至少一條總線(xiàn)（BUS）、優(yōu)選地CAN總線(xiàn)連接的駕駛員輔助系統(tǒng)也可以對(duì)車(chē)載系統(tǒng)、如尤其是轉(zhuǎn)向系統(tǒng)、制動(dòng)系統(tǒng)、動(dòng)力總成系統(tǒng)和報(bào)警系統(tǒng)進(jìn)行主動(dòng)干預(yù)。

通常，在車(chē)隊(duì)之內(nèi)有調(diào)節(jié)系統(tǒng)可用的情況下，使用調(diào)節(jié)系統(tǒng)的統(tǒng)一的數(shù)據(jù)編制（Bedatung）。必要時(shí)，還可以使調(diào)節(jié)系統(tǒng)與運(yùn)動(dòng)模式或者舒適模式適配。與個(gè)人駕駛員的駕駛行為的單獨(dú)適配到目前為止尚未公知。

因而，值得期望的是：提供一種調(diào)節(jié)系統(tǒng)，該調(diào)節(jié)系統(tǒng)能夠?qū)崿F(xiàn)與個(gè)人駕駛員的駕駛行為的這種單獨(dú)適配。

發(fā)明內(nèi)容

通過(guò)按照獨(dú)立權(quán)利要求所述的調(diào)節(jié)系統(tǒng)和計(jì)算機(jī)實(shí)現(xiàn)的方法來(lái)實(shí)現(xiàn)這一點(diǎn)。

優(yōu)選的實(shí)施方式涉及一種用于使用機(jī)器學(xué)習(xí)來(lái)確定調(diào)節(jié)系統(tǒng)、尤其是機(jī)動(dòng)車(chē)的調(diào)節(jié)系統(tǒng)、尤其是用于調(diào)節(jié)機(jī)動(dòng)車(chē)的行駛運(yùn)行的調(diào)節(jié)系統(tǒng)的調(diào)節(jié)參數(shù)的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中該方法包括：

提供行駛軌跡的集合D；

在使用逆向強(qiáng)化學(xué)習(xí)方法的情況下從行駛軌跡中推導(dǎo)獎(jiǎng)勵(lì)函數(shù)；

基于這些獎(jiǎng)勵(lì)函數(shù)來(lái)推導(dǎo)特定于駕駛員類(lèi)型的聚類(lèi)；

針對(duì)相應(yīng)的特定于駕駛員類(lèi)型的聚類(lèi)確定調(diào)節(jié)參數(shù)。

在學(xué)習(xí)階段，基于行駛軌跡的集合來(lái)使不同的駕駛員類(lèi)型形成聚類(lèi)。聚類(lèi)的特性是：在同一聚類(lèi)中的對(duì)象擁有類(lèi)似的、尤其是相同的特性并且由此與不在同一聚類(lèi)中的對(duì)象區(qū)別開(kāi)。接著，在調(diào)節(jié)系統(tǒng)的應(yīng)用階段，調(diào)節(jié)系統(tǒng)可以通過(guò)選擇特定的特定于駕駛員類(lèi)型的聚類(lèi)來(lái)與相應(yīng)的駕駛員的駕駛行為單獨(dú)適配。有利地，行駛軌跡基于不同的駕駛員或駕駛員類(lèi)型的駕駛示范。

獎(jiǎng)勵(lì)函數(shù)、英文reward function是將獎(jiǎng)勵(lì)值分配給調(diào)節(jié)量的值的函數(shù)。有利地，獎(jiǎng)勵(lì)函數(shù)被選擇為使得調(diào)節(jié)量與額定量的偏差越小，該獎(jiǎng)勵(lì)函數(shù)就取越大的值。按照本發(fā)明，針對(duì)相應(yīng)的行駛軌跡確定相應(yīng)的獎(jiǎng)勵(lì)函數(shù)，該獎(jiǎng)勵(lì)函數(shù)在該行駛軌跡方面被優(yōu)化。

通過(guò)使用逆向強(qiáng)化學(xué)習(xí)方法、例如在使用逆向強(qiáng)化學(xué)習(xí)算法的情況下推導(dǎo)獎(jiǎng)勵(lì)函數(shù)。該方法和示例性的算法例如在https://arxiv.org/pdf/1712.05514.pdf：InverseReinforce Learning with Nonparametric Behavior Clustering, SiddharthanRajasekaran, Jinwei Zhang和Jie Fu下公開(kāi)。

接著，基于這些獎(jiǎng)勵(lì)函數(shù)來(lái)推導(dǎo)駕駛員類(lèi)型聚類(lèi)。