[發明專利]圖像處理方法、裝置、車輛、存儲介質及芯片

在審

• 申請號: 202210778647.1
• 申請日: 2022-07-04
• 公開（公告）號: CN115035494A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 陳呂劼
• 申請（專利權）人: 小米汽車科技有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/44;G06V10/77;G06V10/774
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 盧夏子

本公開涉及一種圖像處理方法、裝置、車輛、存儲介質及芯片，該圖像處理方法通過多任務感知模型提取該當前行駛環境圖像對應的第一目標特征數據，該多任務感知模型包括多個任務解碼模塊，不同的任務解碼模塊用于完成不同的感知任務；將該第一目標特征數據和歷史行駛環境圖像對應的第二目標特征數據輸入每個該任務解碼模塊，以獲取每個該任務解碼模塊輸出的任務處理結果；這樣，通過多個相互獨立的任務解碼模塊分別獲取每個任務處理結果，能夠有效提升多任務處理速度，且由于不同的任務之間可以并行處理，因此不僅能夠有效提升任務處理效率，也能夠減少不同任務處理結果之間的相互影響，從而能夠達到有效提升任務處理結果的準確性的效果。

技術領域

本公開涉及自動駕駛領域，尤其涉及一種圖像處理方法、裝置、車輛、存儲介質及芯片。

背景技術

為了保證安全、高效、可靠的行駛，自動駕駛車輛往往需要同時處理多達幾十種的感知任務，目前相關技術中所采用的多任務感知模型一般是通過基于卷積神經網絡的Backbone（骨干網絡）提取特征，再利用任務特異性的Heads（檢測頭）模塊分別處理多種任務，由于多種任務之間相互關聯，因此上游任務的處理速度和處理結果會制約和影響下游任務的處理速度和檢測結果，容易造成任務處理速度慢、效率低，且任務處理結果準確性受限的問題。

發明內容

為克服相關技術中存在的問題，本公開提供一種圖像處理方法、裝置、車輛、存儲介質及芯片。

根據本公開實施例的第一方面，提供一種圖像處理方法，應用于車輛，包括：

獲取所述車輛的當前行駛環境圖像；

將所述當前行駛環境圖像輸入預設的多任務感知模型，所述多任務感知模型包括特征提取模塊和多個任務解碼模塊，不同的任務解碼模塊用于完成不同的感知任務，通過所述特征提取模塊提取所述當前行駛環境圖像對應的第一目標特征數據；

獲取歷史行駛環境圖像對應的第二目標特征數據；

將所述第一目標特征數據和所述第二目標特征數據輸入每個所述任務解碼模塊，以獲取每個所述任務解碼模塊輸出的任務處理結果。

可選地，所述特征提取模塊包括圖像切塊子模塊，編碼器和數據存儲子模塊，所述圖像切塊子模塊的輸出端與所述編碼器的輸入端耦合，所述編碼器的輸出端與所述數據存儲子模塊的輸入端耦合，所述數據存儲子模塊的輸出端分別與所述多個任務解碼模塊中的每個耦合，

所述圖像切塊子模塊，用于將所述當前行駛環境圖像劃分為多個圖像區域，并獲取每個圖像區域對應的特征向量；

所述編碼器，包括自注意力層，用于通過所述自注意力層對所述多個圖像區域對應的多個所述特征向量進行特征提取，以得到所述當前行駛環境圖像對應的所述第一目標特征數據，并將所述第一目標特征數據輸入所述數據存儲子模塊；

所述數據存儲子模塊，用于對所述編碼器輸出的所述當前行駛環境圖像對應的所述第一目標特征數據進行存儲。

可選地，所述通過所述特征提取模塊提取所述當前行駛環境圖像對應的第一目標特征數據，包括：

響應于接收到所述當前行駛環境圖像，通過所述圖像切塊子模塊將所述當前行駛環境圖像劃分為多個圖像區域，并獲取每個圖像區域對應的特征向量；

通過所述自注意力層對所述多個圖像區域對應的多個所述特征向量進行特征提取，以得到所述當前行駛環境圖像對應的所述第一目標特征數據，并將所述第一目標特征數據輸入所述數據存儲子模塊；

通過所述數據存儲子模塊對所述編碼器輸出的所述第一目標特征數據進行存儲。

可選地，所述獲取歷史行駛環境圖像對應的第二目標特征數據，包括：

獲取歷史行駛環境圖像對應的標識信息；

根據所述標識信息從所述數據存儲子模塊中讀取所述歷史行駛環境圖像對應的第二目標特征數據。