[發(fā)明專利]圖像處理方法、裝置、智能駕駛系統(tǒng)和車載運(yùn)算平臺(tái)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811643406.6
• 申請(qǐng)日: 2018-12-29
• 公開(kāi)（公告）號(hào): CN111383156B
• 公開(kāi)（公告）日: 2022-08-02
• 發(fā)明（設(shè)計(jì)）人: 溫拓樸;程光亮;石建萍
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開(kāi)發(fā)有限公司
• 主分類號(hào): G06T1/00
• 分類號(hào): G06T1/00;G06T1/20;G06T1/60;G06N3/04
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張子青;劉芳

本發(fā)明提供一種圖像處理方法、裝置、智能駕駛系統(tǒng)和車載運(yùn)算平臺(tái)。該方法包括：根據(jù)運(yùn)算單元的定點(diǎn)位寬硬件資源量，將卷積神經(jīng)網(wǎng)絡(luò)使用浮點(diǎn)表示的網(wǎng)絡(luò)參數(shù)定點(diǎn)化處理，獲取待處理的圖像，控制運(yùn)算單元根據(jù)定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)處理圖像，得到圖像的處理結(jié)果。通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行定點(diǎn)化，采用2的冪次來(lái)定點(diǎn)化表示網(wǎng)絡(luò)參數(shù)，可減少內(nèi)存占用，提高運(yùn)算速度。

技術(shù)領(lǐng)域

本發(fā)明涉及定點(diǎn)化技術(shù)，尤其涉及一種圖像處理方法、裝置、智能駕駛系統(tǒng)和車載運(yùn)算平臺(tái)。

背景技術(shù)

隨著深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在計(jì)算機(jī)視覺(jué)識(shí)別中的性能提升，卷積神經(jīng)網(wǎng)絡(luò)技術(shù)越來(lái)越頻繁的被應(yīng)用到如圖像處理、無(wú)人駕駛系統(tǒng)、輔助駕駛系統(tǒng)等產(chǎn)品中。由于卷積神經(jīng)網(wǎng)絡(luò)處理的是圖像數(shù)據(jù)，卷積神經(jīng)網(wǎng)絡(luò)技術(shù)通常應(yīng)用依賴于高性能的圖形處理器(Graphics Processing Unit，GPU)，且需要巨大的運(yùn)算量，消耗較大的內(nèi)存，因此卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用存在內(nèi)存資源、硬盤(pán)存儲(chǔ)資源以及電量消耗較大的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種圖像處理方法、裝置、智能駕駛系統(tǒng)和車載運(yùn)算平臺(tái)。

第一方面，本發(fā)明實(shí)施例提供一種圖像處理方法，包括：

根據(jù)運(yùn)算單元的定點(diǎn)位寬硬件資源量，將卷積神經(jīng)網(wǎng)絡(luò)使用浮點(diǎn)表示的網(wǎng)絡(luò)參數(shù)定點(diǎn)化處理，定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)為采用2的冪次表示的值；

獲取待處理的圖像；

控制所述運(yùn)算單元根據(jù)定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)處理所述圖像，得到所述圖像的處理結(jié)果。

在第一方面的一種可行的實(shí)施方式中，所述定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)為M個(gè)2的冪次之和，所述M為大于1的整數(shù)。

在第一方面的一種可行的實(shí)施方式中，所述M等于2。

在第一方面的一種可行的實(shí)施方式中，所述定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)為2的k次冪與2的j次冪之和，所述k和所述j均為整數(shù)，所述k大于所述j、且所述k與所述j之差小于預(yù)設(shè)閾值。

在第一方面的一種可行的實(shí)施方式中，所述將卷積神經(jīng)網(wǎng)絡(luò)使用浮點(diǎn)表示的網(wǎng)絡(luò)參數(shù)定點(diǎn)化處理之后，所述圖像處理方法還包括：

根據(jù)所述k與所述j，以及，二進(jìn)制值映射表，獲取所述定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的二進(jìn)制值，所述二進(jìn)制值映射表用于指示不同k與j取值組合對(duì)應(yīng)的二進(jìn)制值；

存儲(chǔ)所述二進(jìn)制值。

在第一方面的一種可行的實(shí)施方式中，所述控制所述運(yùn)算單元根據(jù)定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)處理所述圖像，包括：

控制所述運(yùn)算單元根據(jù)所述二進(jìn)制值和所述二進(jìn)制映射表，確定所述卷積神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)；

根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)處理所述圖像。

在第一方面的一種可行的實(shí)施方式中，所述控制所述運(yùn)算單元根據(jù)定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)處理所述圖像之前，圖像處理方法還包括：

采用訓(xùn)練數(shù)據(jù)再次訓(xùn)練包括定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)，以對(duì)定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)進(jìn)行修正。

在第一方面的一種可行的實(shí)施方式中，所述圖像的處理結(jié)果包括：對(duì)象檢測(cè)/跟蹤結(jié)果、特征提取結(jié)果、分割結(jié)果、分類結(jié)果中的至少之一。

第二方面，本發(fā)明實(shí)施例還提供一種圖像處理裝置，用于執(zhí)行上述第一方面任一可行的實(shí)施方式中的圖像處理方法，具有相同或相似的技術(shù)效果。

在第二方面的一種可行的實(shí)施方式中，圖像處理裝置包括：

參數(shù)定點(diǎn)化模塊，用于根據(jù)運(yùn)算單元的定點(diǎn)位寬硬件資源量，將卷積神經(jīng)網(wǎng)絡(luò)使用浮點(diǎn)表示的網(wǎng)絡(luò)參數(shù)定點(diǎn)化處理，定點(diǎn)化處理后的網(wǎng)絡(luò)參數(shù)為采用2的冪次表示的值；