[發明專利]一種光流輔助的大尺度顯微圖像拼接算法

在審

• 申請號: 201710427586.3
• 申請日: 2017-06-08
• 公開（公告）號: CN107316275A
• 公開（公告）日: 2017-11-03
• 發明（設計）人: 鄭馳;薩爾瓦多·加西亞·博納;張克奇
• 申請（專利權）人: 寧波永新光學股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/33;G06T7/80
• 代理公司: 寧波奧圣專利代理事務所(普通合伙)33226
• 代理人: 程曉明

技術領域

本發明專利涉及一種在顯微鏡領域應用到的圖像拼接算法，尤其是涉及一種光流輔助的大尺度顯微圖像拼接算法。

背景技術

顯微圖像拼接技術在生命醫學領域和工業領域都有著廣泛的應用需求，是現代高端數碼顯微鏡必備的核心功能之一。不管是明場顯微鏡和熒光顯微鏡中，獲得大視野范圍并且大分辨率的樣本全景照片對于后續的分析和處理都是至關重要的。但是由于視野范圍和分辨率在光學領域是成反比例的關系，獲得一幅視野大并且分辨率高的圖像對于顯微鏡的光學系統的要求是十分嚴格的。在數碼顯微鏡領域中，解決該類問題最常用的技術是圖像拼接技術。該技術通過對樣品的不同區域采集高分辨率的圖像并最終融合成為一幅全景圖像而構建出一幅完整的大尺度高分辨率的顯微圖像。但是在采集過程中，往往會出現由于相鄰兩幅圖像的位移過大而導致的圖像匹配上的特征點過少，從而導致拼接失敗。

發明內容

本發明所要解決的技術問題是在大尺度圖像拼接技術中引進一種光流輔助算法，解決由于位移過大而引起的拼接失敗問題。

本發明解決上述技術問題所采用的技術方案為：一種光流輔助的大尺度顯微圖像拼接算法，具體包括以下步驟：

步驟一：通過相機實時采集數碼顯微鏡的圖像，在兩幅相鄰圖像之間，引入基于金字塔Lucas-Kanade算法實現的光流法檢測圖像之間的位移；

步驟二：檢測采集到的前后兩幅圖像上的所有的特征點；

步驟三：對步驟二中采集到的前后兩幅圖像中所有的特征點應用最近鄰特征點距離與次近鄰特征點距離的比值來進行特征點匹配，比值設為0.4，大于等于0.4認為是匹配上的特征點，小于0.4認為是沒有匹配上的特征點，即如果該特征點的最近鄰特征點的距離與次近鄰特征點距離的比值大于等于0.4，則認為該特征點與最近鄰特征點構成特征點對，加入到特征點集中，找到前后兩幅圖像中相對應的特征點作為特征點對；所述的最近鄰特征點是指用不變的特征點描述符進行運算的與樣本點具有最短歐幾里德距離的特征點；所述的次近鄰特征點是指除最近鄰點以外具有最短的歐幾里德距離的特征點；

步驟四：利用隨機抽樣一致性RANSAC來剔除無效數據，對步驟三中得到的特征點對進行優化，剔除誤匹配的特征點，具體步驟包括：1、從匹配的特征點對中隨機抽取4個樣本數據放入內點集，計算其單應矩陣；2、計算所有特征點對在單應矩陣的作用下的投影誤差，將投影誤差小于0.98的點對，加入到內點集，并優化單應矩陣；重復步驟2，直到內點集中所有的投影誤差小于某個閾值，得到的單應矩陣為最優的單應矩陣通過該單應矩陣匹配上的特征點對為最佳特征點匹配點對；

步驟五：通過步驟四得到的最優單應矩陣和最佳特征點匹配點對，計算得到由相機的內參矩陣、外參矩陣和拉伸因子構成的圖像運動參數估計，所述的內參矩陣包括描述相機內部屬性的焦距和內部距離，所述的外參矩陣包括描述相機外部運動參數的旋轉和平移，進而對采集到的圖像進行仿射、畸變校正和平移變換，將所有采集到的圖像變換成待合成圖像；

步驟六：將在步驟五中得到的待合成圖像，融合得到一幅完整的全視野的顯微圖像。

步驟一的具體方法為：1)通過采樣分層的方式建立一系列不同尺度的圖像序列，對于前一幀圖像I上的一個像素點p＝[p_x，p_y]，在后一幀圖像I中找到對應的一個像素點q＝[q_x，q_y]，其中p_x，p_y分別為像素點p在x方向和y方向上的坐標，q_x，q_y分別為像素點q的x方向和y方向上的坐標，首先在前一幀圖像I中找到光流特征點，并且假設在這些光流特征點的周圍的小窗口內光照條件是恒定的；2)定義d＝[d_x，d_y]為像素點p的位移，即像素點p的光流，其中d_x、d_y分別為像素點p在x方向和y方向上的位移大小，首先對于兩幀圖像I和J的最頂層開始跟蹤像素點p，利用最小二乘法然后將計算結果傳遞到金字塔的下一層，并重新計算光流d，直到兩幀圖像的平均灰度差小于10時，輸出光流d作為像素點p的光流；則后一幀圖像I上對應的光流特征點的位置為q_x＝p_x+d_x，q_y＝p_y+d_y，通過計算每一個像素點的光流得到前后兩幀圖像之間的平均位移。