[發(fā)明專利]用于分析圖像的方法和裝置

有效

• 申請?zhí)枺?/td>: 201880037328.7
• 申請日: 2018-06-04
• 公開（公告）號: CN110892409B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: S.戈什;P.阿蒙;A.胡特
• 申請（專利權(quán)）人: 西門子股份公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;劉春元

本發(fā)明涉及一種用于分析圖像（16、23、43）的方法（1、22）和裝置。該方法（1、22）包括提供預(yù)訓(xùn)練以將圖像（16、23、43）分類為多個分層類別的分層系統(tǒng)的人工深度神經(jīng)網(wǎng)絡(luò)（2、24）。然后針對一個具體類別來適配預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)（2、24），其中具體類別在分層系統(tǒng)中比圖像（16、23、43）的實(shí)際類別低。然后借助于通過適配的神經(jīng)網(wǎng)絡(luò)（5）的前向傳遞（26）來處理圖像（16、23、43），以生成處理結(jié)果（7、20）。然后使用圖像處理算法（28）來分析聚焦于對應(yīng)于具體類別的特征（21）上的處理結(jié)果（7、20）。

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于使用人工深度神經(jīng)網(wǎng)絡(luò)（也表示為神經(jīng)網(wǎng)絡(luò)）分析圖像的方法和裝置。

背景技術(shù)

過去，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)已經(jīng)被成功地用于比如圖像分類、對象檢測或語義分割的任務(wù)。然而，在大多數(shù)情況下，神經(jīng)網(wǎng)絡(luò)或模型是以監(jiān)督的方式訓(xùn)練的。這需要對訓(xùn)練數(shù)據(jù)進(jìn)行注釋。如果新數(shù)據(jù)是可用的，則也需要注釋，以便用該新數(shù)據(jù)更新神經(jīng)網(wǎng)絡(luò)或模型，這可能并不總是可行或?qū)嶋H的。因此，用于更新的新數(shù)據(jù)的實(shí)際可用性可能被限制。對于比如在監(jiān)視應(yīng)用、高級駕駛員輔助系統(tǒng)、自主導(dǎo)航或其中需要分析環(huán)境的任何應(yīng)用中是重要的目標(biāo)檢測的任務(wù)，可能需要以邊界框或像素級分割的形式的對新數(shù)據(jù)中的目標(biāo)的注釋。這可能需要相當(dāng)多的時間、努力和金錢的投入。為了實(shí)現(xiàn)期望的結(jié)果，當(dāng)來自待分析的目標(biāo)位置的新數(shù)據(jù)變得可用時，或者如果目標(biāo)位置處的條件顯著變化，則一些應(yīng)用也可能需要神經(jīng)網(wǎng)絡(luò)的更新。

關(guān)于深度神經(jīng)網(wǎng)絡(luò)及其訓(xùn)練要記住的另一個方面是，它們通常是針對具體任務(wù)而訓(xùn)練的。然而，在實(shí)際應(yīng)用中，可能需要執(zhí)行不是與訓(xùn)練期間相同的任務(wù)而是不同的相關(guān)任務(wù)。利用學(xué)習(xí)的特征或分類器來執(zhí)行該不同的相關(guān)任務(wù)的方法通常還涉及使用廣泛注釋的訓(xùn)練數(shù)據(jù)來重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)。當(dāng)待分析的新樣本或樣本的集合從目標(biāo)位置變得可用時，這些情況也需要更新神經(jīng)網(wǎng)絡(luò)，這又再次需要對新數(shù)據(jù)的注釋。

存在用于解決上面提到的問題和挑戰(zhàn)的各種方法。一種這樣的方法使用加偽標(biāo)簽（pseudo-labelling）來對新的傳入數(shù)據(jù)加標(biāo)簽。偽標(biāo)簽可被用于深度神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)框架中。例如，具有最高預(yù)測概率的相應(yīng)類別可以被用作偽標(biāo)簽，并如同其是真實(shí)標(biāo)簽來處理。另一種方法是通過用一致性的概念增加預(yù)測目標(biāo)來使用有噪聲的和不完整的加標(biāo)簽。如果在給定相似的感知的情況下做出了相同的預(yù)測，則可以認(rèn)為預(yù)測是一致的，其中相似性的概念在根據(jù)輸入數(shù)據(jù)計(jì)算的深度網(wǎng)絡(luò)特征之間。另一種方法將對象分成視覺上相似的組，并分別學(xué)習(xí)這些組的深度表示。另一種方法在于，將訓(xùn)練視為隨著新的數(shù)據(jù)的類別的到來的持續(xù)的學(xué)習(xí)過程。由此，用于預(yù)測增加的數(shù)量的類別的神經(jīng)網(wǎng)絡(luò)或模型的容量逐漸擴(kuò)大。可以根據(jù)相似性對類別進(jìn)行分組，并且新添加的容量可以被劃分為預(yù)測粗粒度超類的組件模型。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種使用深度神經(jīng)網(wǎng)絡(luò)來分析新圖像數(shù)據(jù)而無需廣泛詳細(xì)注釋的方法。

該目的通過本發(fā)明公開的用于分析圖像的方法和本發(fā)明公開的用于分析圖像的裝置來實(shí)現(xiàn)。在下面的描述和附圖中指示了具有本發(fā)明的有利發(fā)展的有利實(shí)施例。