[發(fā)明專(zhuān)利]一種基于超高光譜分辨率的成像方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710551478.7
• 申請(qǐng)日: 2017-07-07
• 公開(kāi)（公告）號(hào): CN107348944A
• 公開(kāi)（公告）日: 2017-11-17
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類(lèi)號(hào): A61B5/00
• 分類(lèi)號(hào): A61B5/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于超高光譜分辨率的成像方法，其特征在于，主要包括交錯(cuò)結(jié)構(gòu)照明和白光視圖(一)；組織表面特征跟蹤和形狀測(cè)量(二)；高光譜分辨率成像(三)；訓(xùn)練和預(yù)測(cè)(四)。

2.基于權(quán)利要求書(shū)1所述的交錯(cuò)結(jié)構(gòu)照明和白光視圖(一)，其特征在于，使用光斬波輪實(shí)現(xiàn)白光和結(jié)構(gòu)照明之間的快速頻閃切換；白光使用兩根光纖電纜：一根連接到氙氣燈，另一根連接到腹腔鏡；它們的自由端彼此定位，由切割輪可以通過(guò)的2mm氣隙隔開(kāi)；安裝斬波器，使發(fā)射的超連續(xù)激光器也通過(guò)光斬波輪，并且結(jié)構(gòu)照明和白光光束路徑在其轉(zhuǎn)動(dòng)時(shí)交替地阻擋或傳輸；從儀器尖端出來(lái)的光在斬波頻率下在結(jié)構(gòu)照明和氙氣之間切換；另外，使用計(jì)算機(jī)控制的信號(hào)發(fā)生裝置產(chǎn)生可變頻率和相位的兩個(gè)同步方波；一個(gè)用于通過(guò)電荷耦合器件攝像機(jī)觸發(fā)圖像采集，而另一個(gè)則控制每個(gè)轉(zhuǎn)輪的旋轉(zhuǎn)頻率和相位；將觸發(fā)頻率設(shè)置為斬波器的兩倍，相位調(diào)整，使得采集的幀由交替的結(jié)構(gòu)照明和白光照明圖像組成；

三維打印的尖端適配器將結(jié)構(gòu)照明探針安裝在剛性?xún)?nèi)窺鏡上；該適配器為圓柱形(直徑為12mm)，兩個(gè)通道分別用于容納內(nèi)窺鏡和結(jié)構(gòu)照明探針；這兩個(gè)通道的角度和基線設(shè)置為10°和5mm，使1.5～4cm工作距離內(nèi)的表面重建的三角測(cè)量精度最大化。

3.基于權(quán)利要求書(shū)1所述的組織表面特征跟蹤和形狀測(cè)量(二)，其特征在于，包括使用單目運(yùn)動(dòng)結(jié)構(gòu)進(jìn)行表面重建、結(jié)構(gòu)照明和運(yùn)動(dòng)結(jié)構(gòu)的重建結(jié)果相結(jié)合。

4.基于權(quán)利要求書(shū)3所述的使用單目運(yùn)動(dòng)結(jié)構(gòu)進(jìn)行表面重建，其特征在于，一種組合基于表面的特征檢測(cè)和光流跟蹤方法進(jìn)行對(duì)應(yīng)搜索；應(yīng)用幾個(gè)標(biāo)準(zhǔn)排除跟蹤異常值，包括特征描述符差分、流矢量長(zhǎng)度、時(shí)間平滑度、對(duì)稱(chēng)光流量和基本矩陣估計(jì)中的隨機(jī)抽樣一致算法；對(duì)于表面重建，假設(shè)表面在一個(gè)小的時(shí)間窗內(nèi)是剛性的；然后可以使用奇異值分解和檢查所有四種可能的解決方案，估計(jì)兩幀中的攝像機(jī)之間的相對(duì)位置以及特征點(diǎn)的三維位置；給定足夠的對(duì)應(yīng)性，可以使用兩個(gè)相鄰的幀對(duì)表面進(jìn)行測(cè)量。

5.基于權(quán)利要求書(shū)3所述的運(yùn)動(dòng)結(jié)構(gòu)的重建結(jié)果相結(jié)合，其特征在于，由于每個(gè)白光圖像具有兩個(gè)時(shí)間上相鄰的結(jié)構(gòu)照明圖像，所以使用從兩個(gè)結(jié)構(gòu)照明幀重構(gòu)的平均形狀，用縮放信息定位運(yùn)動(dòng)結(jié)構(gòu)重建結(jié)果。

6.基于權(quán)利要求書(shū)1所述的高光譜分辨率成像(三)，其特征在于，包括從RGB圖像恢復(fù)多功能成像(MSI)堆棧和從RGB圖像和稀疏光譜信號(hào)中恢復(fù)高光譜成像(HSI)堆棧。

7.基于權(quán)利要求書(shū)6所述的從RGB圖像恢復(fù)MSI堆棧，其特征在于，RGB圖像被認(rèn)為是具有3個(gè)光譜通道的MSI堆疊，所提出的模型尋找從M×N×3的MSI堆棧到M×N×24的映射，其中M×N代表圖像空間分辨率；這個(gè)模型由兩個(gè)主要階段組成：

(1)在頻譜維度中增大輸入，將四個(gè)3D轉(zhuǎn)置卷積層堆疊在一起，將輸入從M×N×3轉(zhuǎn)換為M×N×24；

(2)高頻信號(hào)提取：提取并組合高頻信號(hào)與低分辨率堆棧；這個(gè)階段是使用一個(gè)殘差塊來(lái)實(shí)現(xiàn)的，在模型中，卷積映射F(x)被用于從輸入x提取高頻率，然后被添加到代表沒(méi)有高頻內(nèi)容的堆棧的“快捷方式”x輸入本身；

該映射實(shí)現(xiàn)了一般良好的光譜預(yù)測(cè)，但仍具有明顯的誤差；為了反映預(yù)測(cè)，擴(kuò)展模型1將采用HSI模式捕獲的空間稀疏HSI信號(hào)進(jìn)行整合。

8.基于權(quán)利要求書(shū)6所述的從RGB圖像和稀疏光譜信號(hào)中恢復(fù)HSI堆棧，其特征在于，RGB圖像提供高空間，但低光譜分辨率；而HSI模式具有低空間、高光譜分辨率；由于高光譜信號(hào)的稀疏性，使用RGB作為MSI堆棧估計(jì)的主要貢獻(xiàn)者，然后應(yīng)用HSI信號(hào)進(jìn)行估計(jì)；

模型2具有三個(gè)輸入：RGB圖像(M×N×3)表示收集HSI的位置的密度圖(M×N)和包含稀疏HSI信號(hào)的稀疏堆棧(M×N×24)；模型2在模型1之上添加了合并階段，其中所有輸入都被集成；HSI數(shù)據(jù)與從RGB恢復(fù)的密度圖和HSI堆棧之間的元素乘積連接；在卷積之后估算出空間密集的MSI堆疊。