[發(fā)明專(zhuān)利]一種基于預(yù)訓(xùn)練自編碼器的圖像恢復(fù)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010188588.3
• 申請(qǐng)日: 2020-03-17
• 公開(kāi)（公告）號(hào): CN111462000A
• 公開(kāi)（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 于振明;李宇昂;陳宇迪;何田田;張佳穎;趙睿寧;徐坤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京郵電大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 馬敬;趙元

本發(fā)明實(shí)施例提供了一種基于預(yù)訓(xùn)練自編碼器的圖像恢復(fù)方法及裝置，方法包括：獲取散斑圖像；將散斑圖像輸入圖像恢復(fù)網(wǎng)絡(luò)模型，得到恢復(fù)圖像；其中，圖像恢復(fù)網(wǎng)絡(luò)模型包括訓(xùn)練完成的第一編碼器子網(wǎng)絡(luò)和第一解碼器子網(wǎng)絡(luò)；第一解碼器子網(wǎng)絡(luò)的初始參數(shù)是根據(jù)預(yù)先訓(xùn)練完成的自編碼器網(wǎng)絡(luò)模型中的參數(shù)確定的，自編碼器網(wǎng)絡(luò)模型是根據(jù)第一訓(xùn)練集訓(xùn)練得到的；圖像恢復(fù)網(wǎng)絡(luò)模型是根據(jù)第二訓(xùn)練集訓(xùn)練得到的，第二訓(xùn)練集包括第二樣本原始圖像以及樣本散斑圖像。通過(guò)預(yù)訓(xùn)練自編碼器網(wǎng)絡(luò)模型，并采用訓(xùn)練完成的自編碼器網(wǎng)絡(luò)模型中的參數(shù)對(duì)圖像恢復(fù)網(wǎng)絡(luò)模型中的第一解碼器子網(wǎng)絡(luò)進(jìn)行參數(shù)初始化，能夠充分利用訓(xùn)練數(shù)據(jù)集信息，加快了訓(xùn)練時(shí)網(wǎng)絡(luò)的收斂速度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于預(yù)訓(xùn)練自編碼器的圖像恢復(fù)方法及裝置。

背景技術(shù)

近年來(lái)，光纖被廣泛應(yīng)用于成像系統(tǒng)，相比于傳統(tǒng)的使用透鏡的光學(xué)成像系統(tǒng)，光纖具備直徑小、損耗低、成本低的優(yōu)勢(shì)，是一種理想的侵入式導(dǎo)光介質(zhì)。相比于普通光纖，多模光纖允許多種模式同時(shí)傳輸，具有芯徑大、耦合連接成本低的特點(diǎn)。

然而，由于多模光纖可以傳輸成百上千種導(dǎo)波模式，每一種模式都有不同的相速度，這會(huì)使不同的圖像信息間失去原有的相位關(guān)系，最終輸出端會(huì)輸出隨機(jī)的散斑圖像。實(shí)際上，這個(gè)過(guò)程并沒(méi)有損失圖像信息，而是對(duì)圖像信息進(jìn)行了復(fù)雜的編碼，因此由散斑圖像恢復(fù)出原始圖像信息是多模光纖成像系統(tǒng)的關(guān)鍵技術(shù)。

目前，為實(shí)現(xiàn)由散斑圖像恢復(fù)出原始圖像信息，主流方法是采用卷積神經(jīng)網(wǎng)絡(luò)中的Unet網(wǎng)絡(luò)，Unet的網(wǎng)絡(luò)結(jié)構(gòu)是針對(duì)圖像分割任務(wù)而設(shè)計(jì)的，網(wǎng)絡(luò)整體呈“U”形結(jié)構(gòu)，采用了跳層連接，將淺層的特征圖直接與深層的特征圖相連，使得淺層特征信息可直接傳遞到網(wǎng)絡(luò)深層，為減少信息損失棄用了池化層收縮數(shù)據(jù)特征。

Unet的網(wǎng)絡(luò)結(jié)構(gòu)是針對(duì)圖像分割任務(wù)而設(shè)計(jì)的，雖然也可應(yīng)用于多模光纖圖像傳輸系統(tǒng)，但是以Unet為核心的深度學(xué)習(xí)方法在解決多模光纖成像恢復(fù)問(wèn)題中還存在很大局限性。具體表現(xiàn)為：模型的收斂速度較慢，當(dāng)數(shù)據(jù)集趨向復(fù)雜時(shí)，過(guò)多的細(xì)節(jié)信息會(huì)降低圖像結(jié)構(gòu)的恢復(fù)效果，其收斂慢、結(jié)構(gòu)相似低的特性使得圖像恢復(fù)的可靠度受到很大的限制。

可見(jiàn)，現(xiàn)有的根據(jù)多模光纖傳輸后的散斑圖像恢復(fù)出原始圖像信息的方法存在模型收斂速度較慢，且圖像恢復(fù)質(zhì)量不高的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種基于預(yù)訓(xùn)練自編碼器的圖像恢復(fù)方法及裝置，以解決現(xiàn)有的根據(jù)多模光纖傳輸后的散斑圖像恢復(fù)出原始圖像信息的方法存在模型收斂速度較慢，且圖像恢復(fù)質(zhì)量不高的技術(shù)問(wèn)題。

具體技術(shù)方案如下：

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種基于預(yù)訓(xùn)練自編碼器的圖像恢復(fù)方法，所述方法包括：

獲取散斑圖像，所述散斑圖像是原始圖像經(jīng)過(guò)多模光纖傳輸后得到的；

將所述散斑圖像輸入圖像恢復(fù)網(wǎng)絡(luò)模型，得到恢復(fù)圖像；

其中，所述圖像恢復(fù)網(wǎng)絡(luò)模型包括訓(xùn)練完成的第一編碼器子網(wǎng)絡(luò)和第一解碼器子網(wǎng)絡(luò)；所述第一解碼器子網(wǎng)絡(luò)的初始參數(shù)是根據(jù)預(yù)先訓(xùn)練完成的自編碼器網(wǎng)絡(luò)模型中的參數(shù)確定的，所述自編碼器網(wǎng)絡(luò)模型是根據(jù)第一訓(xùn)練集訓(xùn)練得到的，所述第一訓(xùn)練集包括：第一樣本原始圖像；所述圖像恢復(fù)網(wǎng)絡(luò)模型是根據(jù)第二訓(xùn)練集訓(xùn)練得到的，所述第二訓(xùn)練集包括第二樣本原始圖像以及樣本散斑圖像，所述樣本散斑圖像是所述第二樣本原始圖像經(jīng)過(guò)多模光纖傳輸后得到的。

可選的，所述自編碼器網(wǎng)絡(luò)模型按照如下方式進(jìn)行訓(xùn)練：

獲取初始自編碼器網(wǎng)絡(luò)模型，以及所述第一訓(xùn)練集，所述初始自編碼器網(wǎng)絡(luò)模型包括待訓(xùn)練的第二編碼器子網(wǎng)絡(luò)和第二解碼器子網(wǎng)絡(luò)；

將所述第一樣本原始圖像輸入所述初始自編碼器網(wǎng)絡(luò)模型，得到第一輸出圖像；