[發(fā)明專利]用于基于視覺的駕駛員輔助系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202010731281.3
• 申請日: 2020-07-27
• 公開（公告）號: CN112389452A
• 公開（公告）日: 2021-02-23
• 發(fā)明（設(shè)計）人: S·S·奈都;A·辛格;M·A·施陶登邁爾;L·蘇里科;S·M·赫爾曼
• 申請（專利權(quán)）人: 恩智浦美國有限公司
• 主分類號: B60W50/00
• 分類號: B60W50/00;B60W50/14;G06K9/00;G06F13/28
• 代理公司: 中國貿(mào)促會專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 張小穩(wěn)

本公開涉及用于基于視覺的駕駛員輔助系統(tǒng)和方法。實(shí)施例提供用于基于視覺的駕駛員輔助系統(tǒng)和方法的基于行的特征生成。對于一個實(shí)施例，特征生成器包括循環(huán)緩沖器和耦合到圖像傳感器的處理器。所述循環(huán)緩沖器從所述圖像傳感器接收圖像數(shù)據(jù)，并且在由所述圖像傳感器捕獲圖像幀時存儲N行。所述圖像幀的所述N行少于所述圖像幀的所有行。所述處理器從所述循環(huán)緩沖器接收所述N行，并且將從所述N行生成的一個或多個特征存儲在存儲器中。處理N行圖像數(shù)據(jù)的迭代塊以完成完整圖像幀的處理，并且可處理多個幀。生成的特征由視覺處理器分析以識別、分類和追蹤目標(biāo)，用于基于視覺的駕駛員輔助和相關(guān)基于視覺的輔助動作。

技術(shù)領(lǐng)域

本技術(shù)領(lǐng)域涉及基于視覺的駕駛員輔助系統(tǒng)。

背景技術(shù)

許多交通工具包括基于計算機(jī)視覺的系統(tǒng)，所述基于計算機(jī)視覺的系統(tǒng)用作高級駕駛員輔助系統(tǒng)(ADAS)。在這些基于計算視覺的應(yīng)用中，處理流程通常包括以下階段：預(yù)處理、特征提取和生成、目標(biāo)檢測和分類，以及目標(biāo)追蹤。第一階段處理由一個或多個圖像傳感器收集的數(shù)據(jù)的預(yù)處理，使圖像數(shù)據(jù)可用于稍后的處理階段。這些預(yù)處理功能可在攝像頭模塊自身中執(zhí)行，可在攝像頭模塊外執(zhí)行，或可組合攝像頭模塊內(nèi)和攝像頭模塊外執(zhí)行的功能來執(zhí)行。特征提取和生成階段在預(yù)處理階段后。特征提取和生成階段是具有充分研究和了解的技術(shù)的計算密集型階段，所述技術(shù)通常用于生成用于圖像處理和基于視覺的駕駛員輔助的特征。生成的特征通常由從圖像傳感器收集的圖像數(shù)據(jù)內(nèi)的像素提取的低層級信息表示。例如，生成的特征可以是一個或多個圖案，如邊、角、關(guān)于亮度梯度的形成定向梯度直方圖(HOG)的統(tǒng)計信息，或其它提取的圖案。在后續(xù)的目標(biāo)檢測和分類階段，一個或多個處理算法使用這些生成的特征以識別和分類目標(biāo)。例如，可使用如卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法、支持向量機(jī)(SVM)算法、其它類型的決策樹算法或其它圖像處理算法等算法進(jìn)行目標(biāo)檢測和分類。此外，最后階段還可追蹤目標(biāo)，使得在多個圖像幀上追蹤所檢測到的目標(biāo)的移動。

在嵌入于例如交通工具等較大系統(tǒng)內(nèi)的基于視覺的ADAS中，通常在視覺處理器上執(zhí)行目標(biāo)檢測和分類階段及目標(biāo)追蹤階段，作為軟件驅(qū)動的處理算法。特征提取和生成階段通常由數(shù)字硬件邏輯電路執(zhí)行。對于此類基于視覺的嵌入式ADAS，這種特征生成是非常重要的步驟，因為后續(xù)檢測、分類和追蹤目標(biāo)的處理都是基于生成的特征。傳統(tǒng)解決方案已對圖像傳感器數(shù)據(jù)進(jìn)行基于幀的處理來實(shí)現(xiàn)特征生成階段。然而，由于處理圖像幀需要大的帶寬和內(nèi)部存儲器，因此這種基于幀的特征生成在嵌入式ADAS解決方案中有明顯的缺點(diǎn)。這些大的帶寬和內(nèi)部存儲器要求對于ADAS的總體解決方案來說都是顯著的成本因素。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的第一方面，提供一種系統(tǒng)，包括：

圖像傳感器；

特征生成器，所述特征生成器包括：

循環(huán)緩沖器，所述循環(huán)緩沖器耦合以從所述圖像傳感器接收圖像數(shù)據(jù)，并且每次存儲圖像幀的N行，所述N行少于所述圖像幀的所有行；以及

處理器，所述處理器耦合以從所述循環(huán)緩沖器接收所述N行，并且從所述N行生成一個或多個特征作為輸出；

控制器，所述控制器耦合到所述循環(huán)緩沖器和所述處理器，使所述圖像幀的所有行通過所述循環(huán)緩沖器由所述處理器接收和處理；以及

存儲器，所述存儲器耦合以存儲來自所述處理器的所述一個或多個特征；以及

視覺處理器，所述視覺處理器耦合以從所述存儲器接收所述一個或多個特征，并且具有用于基于視覺的輔助的一個或多個動作為輸出。

根據(jù)本發(fā)明的一個或多個實(shí)施例，所述處理器包括配置成從所述圖像的所述N行生成所述一個或多個特征的硬件邏輯電路。

根據(jù)本發(fā)明的一個或多個實(shí)施例，所述一個或多個動作包括振動方向盤、振動座椅、產(chǎn)生告警音、應(yīng)用緊急制動或調(diào)整轉(zhuǎn)向。