[發明專利]一種基于視頻清晰度融合的大尺寸顯微圖像生成方法

在審

• 申請號: 201810432523.1
• 申請日: 2018-05-08
• 公開（公告）號: CN108765285A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 黃海友;班曉娟;蘇亞;劉萬博;馬博淵;陳文會;陳玉蓮;劉楚妮
• 申請（專利權）人: 北京科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 皋吉甫

本發明屬于測量顯微鏡技術領域，一種基于視頻清晰度融合的大尺寸顯微圖像生成方法，該方法包括：首先，通過顯微鏡和視頻拍攝裝置采集顯微視頻流；然后，從視頻流中提取關鍵幀；再將所提取的關鍵幀進行圖像拼接，最終得到大尺寸清晰的顯微圖像。在圖像拼接過程中，采用了兩項關鍵技術：一、通過基于GPU并行的特征點搜索方法，并行計算得到關鍵幀間配準偏移量；二、根據關鍵幀中清晰度信息，構建清晰度決策矩陣，結合多分辨率樣條融合方法進行圖像拼接。本發明所述顯微圖像生成方法，適用于獲取高分辨率、大尺寸顯微圖像，具有效率高，清晰度高等優點。

技術領域

本發明屬于測量顯微鏡技術領域，涉及一種基于視頻清晰度融合的大尺寸顯微圖像生成方法。

背景技術

在材料科學、醫學、電子器件、顯微機械等領域的研究中，研究人員通常利用顯微鏡觀測微觀組織、顯微結構等并進行器件質量評估、材料組織分析等，當顯微鏡與拍攝裝置配合使用時，可以記錄顯微組織或結構的圖像或視頻。顯微鏡的觀察區域尺寸與顯微鏡的放大倍數或所拍攝的圖像或視頻的空間分辨率成反比，即觀察區域越大，顯微鏡的放大倍數相應的越低，所拍攝的圖像或視頻的空間分辨率也越低。采用高放大倍數，雖然可以獲得更高的空間分辨率，但由于觀察區域相對小，對于具有毫米以上尺寸的樣品，僅可觀察到樣品的局部細節，難以觀測樣品整體。采用計算機視覺方法，對大尺寸樣品的不同區域分別進行拍攝，獲得多張局部圖像，再將局部圖像進行拼接，即可獲得高分辨率、大尺寸顯微圖像。目前，國內外已研發多種靜態圖像(照片)處理的工具，如autoStitch，photoshop，imageJ和imagePro-Plus等軟件，用于解決多張照片的拼接問題。但在實際操作時，由于照片拍攝屬于靜態圖像采集方式，每張照片拍攝時均需要進行調焦、確認重合區域等操作，圖像采集效率低，難以適用于大尺寸顯微圖像。

Noah等人針對上述問題，提出一種基于相位相關的視頻拼接方法[Noah Bedard,Timothy Quang,Kathleen Schmeler,Rebecca Richards-Kortum,and Tomasz S.Tkaczyk,Real-time video mosaicing with a high-resolution microendoscope,BiomedicalOptics Express,2012]，采用視頻拍攝代替照片拍攝，從而提高圖像采集效率。但是Noah等所提出的方法基于關鍵幀串行配準，大尺寸圖像生成過程耗時仍然較長；并且由于存在調焦造成的局部模糊，最終合成的圖像清晰度不高。

采用視頻拍攝方式進行圖像采集為高分辨率、大尺寸顯微圖像的生成提供了一條可行的技術途徑。基于視頻流，進一步開發更高效的關鍵幀拼接方法和針對調焦造成的局部模糊，解決高清晰度圖像融合問題是目前亟需解決的兩個關鍵問題。

發明內容

本發明主要目的在于提供一種基于視頻清晰度融合的大尺寸顯微圖像生成方法，解決目前高分辨率、大尺寸顯微圖像生成方法效率不足、整體清晰度無法滿足使用需求的兩個瓶頸問題。本發明提出通過基于GPU并行的特征點搜索的方法，并行計算得到關鍵幀間配準偏移量，從而實現圖像拼接效率的顯著提升；同時，提取關鍵幀中清晰度信息，構建清晰度決策矩陣，結合多分辨率樣條融合方法進行圖像拼接。從而保證圖像整體獲得最佳清晰度，最終獲得高分辨率、大尺寸、高清晰度的顯微組織圖像。

為解決上述技術問題，本發明采用以下技術方案：一種基于視頻清晰度融合的大尺寸顯微圖像生成方法，所述方法包括以下主要步驟：

步驟(1)：通過同時使用顯微鏡和視頻采集裝置，采集顯微視頻流；

步驟(2)：根據所述視頻流中的關鍵幀，通過基于GPU并行的特征點搜索的方法，并行計算得到關鍵幀間配準偏移量；

步驟(3)：根據關鍵幀中清晰度信息，構建清晰度決策矩陣，結合多分辨率樣條融合方法進行圖像拼接，得到大尺寸清晰的顯微圖像。