[發(fā)明專利]訓(xùn)練模型以對(duì)有霧圖像執(zhí)行語義分割的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201880095853.4
• 申請(qǐng)日: 2018-07-24
• 公開（公告）號(hào): CN112513928A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 清水宏明;D·戴;C·薩卡里迪斯;L·V·古爾
• 申請(qǐng)（專利權(quán)）人: 豐田自動(dòng)車歐洲公司;蘇黎士聯(lián)邦理工大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/00
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 劉都;楊曉光

用于訓(xùn)練要用于圖像的語義分割的模型的系統(tǒng)和方法，包括：a?獲得(S01)第一多個(gè)有霧圖像(101)，b?訓(xùn)練(S02)用于估計(jì)霧密度的分類模型，c?對(duì)具有輕霧的第二多個(gè)圖像(101)進(jìn)行分類(S03)，d?獲得(S04)具有輕霧的第三多個(gè)有霧圖像(103)，e?使用第三多個(gè)有霧圖像訓(xùn)練(S05)語義分割模型，f?將語義分割模型應(yīng)用(S06)于第二多個(gè)有霧圖像(102)以獲得語義分割(102′)，g?獲得(S07)具有濃霧的第四多個(gè)有霧圖像(104)，h?使用先前獲得的有霧圖像進(jìn)行訓(xùn)練(S08)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，并且更具體地涉及其中可能出現(xiàn)霧的圖像的語義分割。

背景技術(shù)

語義分割是一種用于確定圖像中可見(或部分可見)的對(duì)象類型的方法。例如，可以通過安裝在車輛中的相機(jī)來獲取圖像。該圖像的語義分割允許區(qū)分其它車輛、行人、行車道等。因此，語義分割對(duì)于自動(dòng)駕駛車輛和其它類型的自動(dòng)化系統(tǒng)特別有用。

語義分割方法通常使用諸如神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)的模型來執(zhí)行分割。這些模型必須經(jīng)過訓(xùn)練。

訓(xùn)練模型通常包括將已知圖像輸入模型。對(duì)于這些圖像，預(yù)定的語義分割是已知的(操作員可能已經(jīng)通過注釋圖像來準(zhǔn)備每個(gè)圖像的預(yù)定的語義分割)。然后，考慮到預(yù)定的語義分割來評(píng)估模型的輸出，并且如果模型的輸出與圖像的預(yù)定的語義分割不同，則調(diào)節(jié)模型的參數(shù)。

因此，為了訓(xùn)練語義分割模型，大量的圖像和預(yù)定的語義分割是必須的。

據(jù)觀察，不利的天氣條件會(huì)給駕駛員和自動(dòng)化系統(tǒng)造成可視性問題。盡管傳感器和計(jì)算機(jī)視覺算法不斷改進(jìn)，但它們通常無法在許多室外條件下工作。這阻止了這些自動(dòng)化系統(tǒng)的實(shí)際使用：無法想像車輛會(huì)避開惡劣的天氣，并且車輛必須能夠在每種可能的天氣條件下區(qū)分不同的對(duì)象。

霧是典型的不利天氣的示例，其會(huì)根據(jù)霧的密度嚴(yán)重降低場(chǎng)景的可見性。

因此，期望用有霧(foggy)圖像(在其上出現(xiàn)霧的圖像)訓(xùn)練語義分割模型。

然而，獲得關(guān)于有霧圖像(例如，由相機(jī)拍攝的有霧圖片)的語義分割數(shù)據(jù)是特別困難且耗時(shí)的，特別是在操作員在將有霧圖像饋送到模型之前必須手動(dòng)注釋有霧圖像的情況下。

為了克服該問題，已經(jīng)提出了生成合成有霧圖像。

實(shí)際上，獲得語義分割更容易在清晰圖像上執(zhí)行，并且清晰圖像的語義分割可以用于訓(xùn)練已經(jīng)輸入了具有合成霧的圖像的模型。

現(xiàn)有技術(shù)文件“采用合成數(shù)據(jù)的語義霧景理解(Semantic foggy sceneunderstanding with synthetic data)”(國(guó)際計(jì)算機(jī)視覺雜志International Journalof Computer Vision，Sakaridis，C.，Dai，D.，Van Gool，L.，2018)公開了一種在清晰天氣圖像上添加合成霧的方法。這些圖像然后可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。該文件中公開的方案對(duì)于呈現(xiàn)濃霧的圖像的語義分割是不令人滿意的。

本發(fā)明的主要目的是提供克服當(dāng)前可用系統(tǒng)和方法的缺陷的方法和系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明通過提出一種用于訓(xùn)練要被用于圖像的語義分割的模型的方法來克服現(xiàn)有技術(shù)的一個(gè)或多個(gè)缺陷，該方法包括：

a-獲得具有不同密度(例如，每個(gè)圖像上的隨機(jī)霧密度)的合成霧的第一多個(gè)有霧圖像，

b-使用第一多個(gè)有霧圖像和相關(guān)聯(lián)的不同密度來訓(xùn)練用于估計(jì)霧密度的分類模型，

c-根據(jù)圖像中的霧密度使用步驟b的分類模型對(duì)第二多個(gè)圖像進(jìn)行分類，以便獲得第二多個(gè)有霧圖像，其中每個(gè)有霧圖像具有包括在第一霧密度閾值和第二霧密度閾值之內(nèi)的霧密度，