[發明專利]一種多模式實時電子穩像系統

無效

• 申請號: 201110084163.9
• 申請日: 2011-04-02
• 公開（公告）號: CN102148934A
• 公開（公告）日: 2011-08-10
• 發明（設計）人: 許廷發;石明珠;梁炯
• 申請（專利權）人: 北京理工大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/14;G06T7/20
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 張利萍;高燕燕

1.一種多模式實時電子穩像系統，該系統主要包括數學模型和預處理模塊、幀間穩像模塊和幀內穩像模塊；其中幀間穩像模塊包括基于感興趣區域全局運動估計單元、運動矢量濾波單元、運動決定單元和運動補償單元；數學模型和預處理模塊與幀間穩像模塊中的基于感興趣區域全局運動估計單元連接，基于感興趣區域全局運動估計單元分別與運動矢量濾波單元和幀內穩像模塊連接，運動矢量濾波單元、運動決定單元和運動補償單元依次順序連接，運動補償單元分別與幀內穩像模塊和外部的DSP并行處理連接；其特征在于：

其中，數學模型和預處理模塊建立多模式電子穩像數學模型并完成輸入視頻運動類型的判定；幀間穩像模塊中的基于感興趣區域全局運動估計單元完成對感興趣區域進行全局運動估計，對圖像進行處理估算出當前幀相對于參考幀的全局運動偏移量，即由攝像機參數或者位置變化而引起的整個圖像的變化，然后通過運動矢量濾波單元對圖像進行濾波，并將濾波后的圖像發送至運動決定單元；運動決定單元對檢測出來的全局運動矢量進行分析，判斷該運動是由攝像載體的隨機抖動引起的，還是屬于攝像機正常掃描運動，或者是兩者兼有；運動補償模塊根據無意運動分量作為待補償參數，直接使圖像上的像素按照被檢測出的運動偏移反方向做等量移動，以實現圖像的行、列重組；幀內穩像模塊針對由高頻振動引起的圖像幀內模糊，進行幀內圖像的空間可變運動模糊的圖像復原。

2.如權利要求1所述的一種多模式實時電子穩像系統，其特征在于：所述的運動補償單元采用基于Kalman濾波的全景圖像補償方法進行補償，首先進行全局運動的參數估計，其次計算出運動分量，然后利用遞歸Kalman濾波器對原始視頻序列的累積全局運動分量序列，按照觀測量到達的時間順序進行序貫濾波處理，再提取出對應的抖動分量以補償當前圖像，最后結合圖像拼接技術重建丟失的邊界信息，保證圖像的完整性。

3.如權利要求2所述的一種多模式實時電子穩像系統，其特征在于：數學模型和預處理模塊對平移運動和繞光軸的旋轉運動，采用剛性數學模型；針對自由度下的平移、旋轉和縮放運動，分別建立相似變換模型和仿射變換模型；對于平移、水平掃動、垂直掃動、旋轉、鏡頭縮放運動，采用透視變換模型。

4.如權利要求3所述的一種多模式實時電子穩像系統，其特征在于：基于感興趣區域全局運動估計單元首先完成感興趣區域特征塊和點提取，通過跟蹤特征點進一步估計出運動量，通過建立灰度分布特征函數，依據區域內灰度分布特征數值確定有效特征區域，并提取特征量，該特征量在參考圖像中進行匹配，得到特征量的運動變化值，將這些局部運動量帶入到圖像全局運動模型中可擬和出圖像的全局運動量。

5.如權利要求4所述的一種多模式實時電子穩像系統，其特征在于：在計算全局運動量之前首先對局部運動量進行誤差分析，并對精度低的局部運動量去除，保證穩像精度達到亞像元。

6.如權利要求5所述的一種多模式實時電子穩像系統，其特征在于：采用FPGA結合多DSP小型化數字圖像實時處理器完成圖像數據的并行處理，FPGA完成圖像預處理與電子穩像數學模型建立，三塊DSP并行分別完成基于全局運動估計和數字濾波、空間可變運動模糊的圖像復原算法和運動補償，實現視頻圖像的實時處理。