[發(fā)明專利]訓(xùn)練模型以對(duì)有霧圖像執(zhí)行語(yǔ)義分割的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201880095853.4
• 申請(qǐng)日: 2018-07-24
• 公開（公告）號(hào): CN112513928A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 清水宏明;D·戴;C·薩卡里迪斯;L·V·古爾
• 申請(qǐng)（專利權(quán)）人: 豐田自動(dòng)車歐洲公司;蘇黎士聯(lián)邦理工大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/00
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 劉都;楊曉光

1.一種用于訓(xùn)練要用于圖像的語(yǔ)義分割的模型的方法，包括：

a-獲得(S01)具有不同密度的合成霧的第一多個(gè)有霧圖像(101)，

b-使用所述第一多個(gè)有霧圖像和相關(guān)聯(lián)的不同密度來(lái)訓(xùn)練(S02)用于估計(jì)霧密度的分類模型，

c-根據(jù)所述圖像中的所述霧密度使用步驟b的所述分類模型對(duì)第二多個(gè)圖像(101)進(jìn)行分類(S03)，以獲得第二多個(gè)有霧圖像(102)，所述第二多個(gè)有霧圖像中的每個(gè)有霧圖像具有包括在第一霧密度閾值和第二霧密度閾值之內(nèi)的霧密度，

d-獲得(S04)第三多個(gè)有霧圖像(103)，所述第三多個(gè)有霧圖像中的每個(gè)有霧圖像具有包括在所述第一霧密度閾值和所述第二霧密度閾值之內(nèi)的霧密度的合成霧，

e-使用所述第三多個(gè)有霧圖像和所述第三多個(gè)圖像的預(yù)定義語(yǔ)義分割來(lái)訓(xùn)練(S05)語(yǔ)義分割模型，

f-將步驟e的所述語(yǔ)義分割模型應(yīng)用于(S06)所述第二多個(gè)有霧圖像(102)，以獲得所述第二多個(gè)有霧圖像的語(yǔ)義分割(102′)，

g-獲得(S07)第四多個(gè)有霧圖像(104)，所述第四多個(gè)有霧圖像中的每個(gè)有霧圖像具有包括在第三霧密度閾值和第四霧密度閾值之內(nèi)的霧密度的合成霧，所述第三霧密度閾值和所述第四霧密度閾值均大于所述第一霧密度閾值和所述第二霧密度閾值，

h-使用以下內(nèi)容訓(xùn)練(S08)步驟e的所述語(yǔ)義分割模型：

-所述第四多個(gè)有霧圖像(104)和所述第四多個(gè)有霧圖像的預(yù)定義語(yǔ)義分割(104′)，

-所述第二多個(gè)有霧圖像(102)和在步驟f中獲得的所述多個(gè)有霧圖像的所述語(yǔ)義分割(102′)。

2.根據(jù)權(quán)利要求1所述的方法，其中，步驟h包括將來(lái)自所述第二多個(gè)有霧圖像的圖像和來(lái)自所述第四多個(gè)有霧圖像的圖像的混合輸入到步驟e的所述語(yǔ)義分割模型，以獲得要饋送到所述模型的圖像流，其中，所述圖像流包括比來(lái)自所述第二多個(gè)有霧圖像中的圖像更大比例的來(lái)自所述第四多個(gè)有霧圖像中的圖像。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，步驟h包括最小化以下值：

其中：

l是所述第四多個(gè)有霧圖像中的圖像的數(shù)量，

x_i″是所述第四多個(gè)有霧圖像中的索引i的圖像，

y_i是圖像x_i″的所述預(yù)定義語(yǔ)義分割，

L(x，y)是x和y的交叉熵?fù)p失函數(shù)，

Φ″(x_i″)是所述語(yǔ)義分割模型的輸出，

μ是所述第二多個(gè)有霧圖像中的圖像的數(shù)量，

其中w是預(yù)定義權(quán)重，

是所述第二多個(gè)有霧圖像的圖像，以及

是在步驟f中獲得的圖像x_i″的所述語(yǔ)義分割。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，在步驟a、d和g中，獲得用于所述第一、第三或第四多個(gè)有霧圖像的有霧圖像包括：

-獲得初始圖像的深度圖，

-獲得所述初始圖像的預(yù)定義語(yǔ)義分割，

-制作所述初始圖像的透射率圖，其中對(duì)于所述初始圖像的每個(gè)像素，當(dāng)所述深度圖中的所述像素的所述深度增加時(shí)，所述透射率降低，

-通過考慮所述圖像的所述預(yù)定義語(yǔ)義分割來(lái)過濾所述透射率圖，以獲得過濾的透射率圖，

-使用所述過濾的透射率圖在所述初始圖像上模擬霧的外觀以獲得所述有霧圖像。

5.根據(jù)權(quán)利要求4所述的方法，其中，過濾所述透射率圖包括應(yīng)用雙邊過濾器。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述雙邊過濾器被定義為：

其中：

p和q是所述初始圖像的像素，

N(p)是p的鄰，

t(p)是所述過濾的透射率圖中的像素p的所述透射率，

是所述透射率圖中的像素q的所述透射率，

是空間高斯核，

是色域高斯核，

δ是克羅內(nèi)克函數(shù)，

μ是預(yù)定權(quán)重，

h(p)和h(q)分別是像素p和q的所述語(yǔ)義標(biāo)記，以及

J(q)和J(p)分別是CIELAB域中的所述色值。